linux hive学习
文章平均质量分 68
baiyan_er
这个作者很懒,什么都没留下…
展开
-
linux安装mysql时使用临时密码登录不进去mysql: [Warning] Using a password on the command line interface can be insec
1.在root用户下,停止mysqlservice mysqld stop2.vi /etc/my.cnf在[mysqld]的段中加上一句skip-grant-tables [mysqld]skip-grant-tables shift+z+z;保存退出3.重新启动mysqlsystemctl start mysqld3.登录修改mysql 的密码[root@python2 hadoop]# my...原创 2018-04-16 20:58:06 · 33105 阅读 · 5 评论 -
hive安装及连接MySql
一、首先到mysql官网下载mysql-yum1.下载好后,上传到linux 中2,接下来运行(rmp -Uvh mysql57-community-release-el7-11.noarch.rpm)3,接下来安装mysql(yum install mysql-community-server -y)4,接着修改关闭密码验证 修改/etc/mycnf在最后添加 plugin-load=...原创 2018-04-18 17:28:07 · 10631 阅读 · 0 评论 -
sparksql
1.启动start-dfs.sh,然后启动,jupyter-noteboot --ip python22.看数据库中多出来一个数据库schoolspark.sql("desc formatted testb").show() -------------查看表格的所有信息下边创建一个表下边把数据导到这个student表中:接着验证下写三条记录放追加到student表中#这个列表中有三条记录 放在...原创 2018-04-20 23:23:11 · 218 阅读 · 0 评论 -
sparksql(2)
接上篇student表也就是在pyspark中可以有两种方式:1,agg(汇总) 2,sql语句 查询接着实现自定义函数(1)这是用concat()函数将两个连接不是自定义的(2)用自定义函数实现连接(sql 方式)如果在查询语句时需要复杂的编程,需要定义函数,上方是sql方式调用自定函数sqlContext-----------下边注册函数(registerFunction,spark是sq...原创 2018-04-21 10:20:27 · 186 阅读 · 0 评论 -
kafka python版的生产者,消费者
之后我们自己制作一个python的kafka 生产者,python版的kafka的消费者,即flume的agend也不用控制台。首先启动pycharm,在pycharm需要安装安装完成后python文件就可以导入包 from kafka import KafkaProducer启动zookeeperpython中的代码from kafka import KafkaProducerproduce...原创 2018-04-28 17:54:36 · 4763 阅读 · 1 评论 -
kafka pyspark(集群zookeeper)
准备:首先cmd 在运行中安装pyspark pip install pysparkspark-streaming得数据的几种途径: socker: 网络中 queue: sc散列的数据 flume: 通过 flume得数据,sinks kafka: 通过kafka得数据有两种:一种是...原创 2018-04-28 22:40:11 · 858 阅读 · 0 评论