![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据eco
文章平均质量分 73
xubc
IT酱油课
展开
-
kafka0.8.2命令
## kafka启动 zookeeper-server start bin/kafka-server-stop.sh nohup bin/kafka-server-start.sh config/server.properties > logs/kafka-server-start.log & ## 查看当前节点状态 echo stat | nc 127.0.0.1 2181原创 2017-02-04 14:06:21 · 1014 阅读 · 0 评论 -
impala大数据量查询/tmp/impala-scratch创建异常
使用impala对大数据量查询distinct的时候出现如下错误 5ab149d_24414dab2c19caca:e54b206c5ab149f_91001337-9d70-4c93-84ce-e7916c1ae804 failed with errno=2 description=Error(2): No such file or directory Backend 4:Create fil原创 2017-02-10 17:37:11 · 1720 阅读 · 0 评论 -
导数据中的网络引起的异常
最近由hive想应用数据库mysql 和 hbas导数据的时候,莫名的出现很多连接异常或者中断的情况,初步怀疑是开启并发过多占满网络带宽导致 导入mysql数据库 Lost connection to MySQL server at 'reading authorization packet', system error: 0 导入Hbase数据库时ssh连接中断 ja原创 2017-04-27 14:52:37 · 518 阅读 · 0 评论 -
mongo在shell中操作命令
在linux中安装mongodb的客户端很简单,下载对应版本的mongodb-linux-x86_64-rhel62-3.4.2.tgz,解压后加入目录bin到环境变量中就可使用 mongo 198.168.0.1:27017/nlp -u nlp_s -p 123456 连接mongo之后,数据库操作命令 # 查看库中所有表 show collections; # 查看表中数据 db.原创 2017-06-05 11:44:07 · 402 阅读 · 0 评论 -
spark读取mongodb数据
val spark = SparkSession.builder .appName(this.getClass.getName().stripSuffix("$")) .getOrCreate() val df = spark.read.format("com.mongodb.spark.sql").options( Map原创 2017-06-26 11:38:51 · 10383 阅读 · 0 评论