- 博客(8)
- 收藏
- 关注
RSS订阅原创 docker 镜像构建和推送
docker 镜像构建和推送准备dockerfileFROM python:3.6COPY ./dispatch /appWORKDIR /appRUN pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simpleEXPOSE 18010CMD python /app/data_class/allocation_server.pyrequirementsnumpy==1.17.3pandas==
2020-06-01 13:49:42
173
原创 Kylin麒麟大数据OLAP框架 build问题 10020 failed on connection exception: java.net.ConnectException: Connection
问题10020 failed on connection exception: java.net.ConnectException: Connection描述Kylin麒麟大数据样例project。在构建样例数据之后开始build table，在启动了resource manager成功的情况依然报错。具体错误产生于build n-dimension cuboid解决方法step 1确...
2020-04-14 11:36:29
371
原创 Hbase 增删查改 happybase
Hbase 增删查改 happybase启动server启动thrift server接受python apibin/hbase-daemon.sh start thrift代码import happybase# lsof -i:9090connection = happybase.Connection('192.168.21.67',port=9090)table = con...
2020-04-13 20:42:22
310
原创 kafka 接收数据存入redis或hbase 分布式框架 大数据
kafka 数据存入redis或hbase代码from kafka import KafkaConsumerimport timeimport happybaseimport jsonfrom ips import *hbase_ip = yuhangiphbase_port = default_hbase_port# '9090'ip = hbase_ipport = hba...
2020-04-09 22:55:00
437
原创 pyspark 访问hive 存放数据 spark sql 分布式框架
pyspark 访问hive 存放数据代码import findsparkfindspark.init()from pyspark.sql import SparkSession, HiveContext'''需要bin/spark-sql.sh可以运行需要配置hive-site xml的metastore uri并开启该metastore节点的serverhive --serv...
2020-04-09 22:29:30
269
原创 大数据框架 用python 3.6访问hive数据库 pyhive 安装简介
大数据框架 用python 3.6访问hive数据库 pyhive 安装简介pyhive 依赖全部用pip install xxx安装即可先运行sudo apt-get install python-dev libsasl2-dev gcc 安装gcc 下面模块对gcc有依赖Pyhive-0.6.2thrift-0.13.0thrift-sasl-0.4.2运行beeline测试数...
2020-04-08 15:33:27
462
原创 hugging face transformer文本分类运行
hugging face 团队的transformer又更新了，现在里面有distilroberta和distilbert和albert模型，这三个模型值得我们对比其他模型的差异。那么如何运行呢？首先进入GitHub，搜索transformerhttps://github.com/huggingface/transformers进入这个repogit clone 或者下载下来...
2020-01-08 17:59:58
4404
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人