分布式框架
qq_34184324
这个作者很懒,什么都没留下…
展开
-
Kylin麒麟大数据OLAP框架 build问题 10020 failed on connection exception: java.net.ConnectException: Connection
问题10020 failed on connection exception: java.net.ConnectException: Connection描述Kylin麒麟大数据样例project。在构建样例数据之后开始build table,在启动了resource manager成功的情况依然报错。具体错误产生于build n-dimension cuboid解决方法step 1确...原创 2020-04-14 11:36:29 · 418 阅读 · 0 评论 -
Hbase 增删查改 happybase
Hbase 增删查改 happybase启动server启动thrift server接受python apibin/hbase-daemon.sh start thrift代码import happybase# lsof -i:9090connection = happybase.Connection('192.168.21.67',port=9090)table = con...原创 2020-04-13 20:42:22 · 331 阅读 · 0 评论 -
kafka 接收数据存入redis或hbase 分布式框架 大数据
kafka 数据存入redis或hbase代码from kafka import KafkaConsumerimport timeimport happybaseimport jsonfrom ips import *hbase_ip = yuhangiphbase_port = default_hbase_port# '9090'ip = hbase_ipport = hba...原创 2020-04-09 22:55:00 · 456 阅读 · 0 评论 -
pyspark 访问hive 存放数据 spark sql 分布式框架
pyspark 访问hive 存放数据代码import findsparkfindspark.init()from pyspark.sql import SparkSession, HiveContext'''需要bin/spark-sql.sh可以运行需要配置hive-site xml的metastore uri并开启该metastore节点的serverhive --serv...原创 2020-04-09 22:29:30 · 292 阅读 · 0 评论 -
大数据框架 用python 3.6访问hive数据库 pyhive 安装简介
大数据框架 用python 3.6访问hive数据库 pyhive 安装简介pyhive 依赖全部用pip install xxx安装即可先运行sudo apt-get install python-dev libsasl2-dev gcc 安装gcc 下面模块对gcc有依赖Pyhive-0.6.2thrift-0.13.0thrift-sasl-0.4.2运行beeline测试数...原创 2020-04-08 15:33:27 · 487 阅读 · 0 评论