大数据eco
文章平均质量分 73
xubc
IT酱油课
展开
-
kafka0.8.2命令
## kafka启动zookeeper-server startbin/kafka-server-stop.sh nohup bin/kafka-server-start.sh config/server.properties > logs/kafka-server-start.log & ## 查看当前节点状态echo stat | nc 127.0.0.1 2181原创 2017-02-04 14:06:21 · 1030 阅读 · 0 评论 -
impala大数据量查询/tmp/impala-scratch创建异常
使用impala对大数据量查询distinct的时候出现如下错误5ab149d_24414dab2c19caca:e54b206c5ab149f_91001337-9d70-4c93-84ce-e7916c1ae804 failed with errno=2 description=Error(2): No such file or directoryBackend 4:Create fil原创 2017-02-10 17:37:11 · 1738 阅读 · 0 评论 -
导数据中的网络引起的异常
最近由hive想应用数据库mysql 和 hbas导数据的时候,莫名的出现很多连接异常或者中断的情况,初步怀疑是开启并发过多占满网络带宽导致 导入mysql数据库Lost connection to MySQL server at 'reading authorization packet', system error: 0 导入Hbase数据库时ssh连接中断 ja原创 2017-04-27 14:52:37 · 527 阅读 · 0 评论 -
mongo在shell中操作命令
在linux中安装mongodb的客户端很简单,下载对应版本的mongodb-linux-x86_64-rhel62-3.4.2.tgz,解压后加入目录bin到环境变量中就可使用mongo 198.168.0.1:27017/nlp -u nlp_s -p 123456 连接mongo之后,数据库操作命令# 查看库中所有表show collections;# 查看表中数据db.原创 2017-06-05 11:44:07 · 410 阅读 · 0 评论 -
spark读取mongodb数据
val spark = SparkSession.builder .appName(this.getClass.getName().stripSuffix("$")) .getOrCreate() val df = spark.read.format("com.mongodb.spark.sql").options( Map原创 2017-06-26 11:38:51 · 10393 阅读 · 0 评论