![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python操作Hadop
文章平均质量分 65
王轩12
微信:Hao15206939743
QQ:2990069499
展开
-
pyspark and py MapReduce的错误记录
文章目录使用Python语言写Hadoop MapReduce程序注意在上面的参考博客中,运行时的命令行改为:如下遇到的错误错误1:shell脚本中执行时提示“没有那个文件或目录”的解决办法错误2:程序运行时报错 就是运行到mapper 0% reducer 0%的时候报错centos上安装Python3.6.5pyspark的安装及使用CentOS安装Python3.6环境和pip3使用pyspark一些环境配置问题CentOS7安装Jupyterpycharm 上使用Jupyterjava.net.Un原创 2021-06-05 21:05:07 · 150 阅读 · 0 评论 -
centos安装Python3.5
文章目录centos安装Python3.5安装python3.5可能使用的依赖到python官网找到下载路径, 用wget下载删除旧版本的python依赖 centos安装Python3.5 安装python3.5可能使用的依赖 yum install openssl-devel bzip2-devel expat-devel gdbm-devel readline-devel sqlite-devel 到python官网找到下载路径, 用wget下载 wget https://www.python.or原创 2021-05-31 16:48:00 · 472 阅读 · 0 评论 -
Python操作HDFS
文章目录Python操作HDFS Python操作HDFS python读取hdfs数据 使用Python操作Hadoop,Python-MapReduce python操作hdfs 使用python的hdfs包操作HDFS # 连接hadoop # 通过http协议连接hadoop的datanode节点,默认端口50070 from hdfs.client import Client client = Client("http://192.168.126.131:50070/") # list()会原创 2021-04-03 18:35:08 · 1196 阅读 · 0 评论 -
python操作Hbase
文章目录python操作Hbase1.需要安装thriftThrift是什么?能做什么?下载thrift操作Hbase在Hbase中开启thrift服务python操作Hbase python操作Hbase 1.需要安装thrift Thrift是什么?能做什么? Thrift是Facebook于2007年开发的跨语言的rpc服框架,提供多语言的编译功能, 并提供多种服务器工作模式;用户通过Thrift的IDL(接口定义语言)来描述接口函数及数据类型, 然后通过Thrift的编译环境生成各种语言类型的接口文原创 2021-04-03 11:28:56 · 2080 阅读 · 0 评论