![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
金融小白数据分析之路
这个作者很懒,什么都没留下…
展开
-
python操作hive安装依赖库(三)
三、python 开发 (一)、安装 pip install pyhive pip install sasl pip install thrift_sasl 安装 sasl 报错 windows 安装 方法 在此之前先安装pip install wheel cd 存放目录 C:\ProgramData\Anaconda3\Scripts 下载地址安装,选择合适的版本 https://www.lfd.uci.edu/~gohlke/pythonlibs/#saslsasl-0.3.1原创 2022-02-07 20:02:12 · 1495 阅读 · 0 评论 -
hive实际操作(二)
三、 bin/hiveserver2 实操create database if not exists myfirstdb;案例1create database if not exists orderdb;use orderdb;create table if not exists order1(id string,name string,price float) row format delimited fields terminated by ',';上传到这个路径下hdfs dfs -p原创 2022-02-07 19:59:45 · 747 阅读 · 0 评论 -
python 使用mapreduce
hadoop jar /data/soft/hadoop-3.2.0/share/hadoop/tools/lib/hadoop-streaming-3.2.0.jar \-input /input/example.txt \-output /opt/test_datasource/output \-mapper "python FruitMapper.py" \-reducer "python FruitReducer.py" \-file /opt/pymapreduce/FruitMapp.原创 2022-02-03 23:20:48 · 265 阅读 · 0 评论 -
python操作hdfs
第一步安装好hadoop集群配置安装 python hdfs 客户端修改hdfs 根目录权限hdfs dfs -chmod 777 /from hdfs import Client# 连接ip client = Client("http://192.168.206.100:9870/", root="/")# 在根目录下创建mydir目录client.makedirs("/mydir")data = client.list("/")print("查看根目录下的子目录:", da原创 2022-02-03 21:41:05 · 1273 阅读 · 0 评论 -
hadoop和spark开启日志
# 开启日志[root@bigdata04 neo4j-community-3.5.21]# cd /data/soft/spark-2.4.3-bin-hadoop2.7[root@bigdata04 spark-2.4.3-bin-hadoop2.7]# sbin/start-history-server.sh[root@bigdata01 hadoop-3.2.0]# history | grep mapred 59 vi mapred-site.xml 63原创 2021-12-16 11:08:26 · 973 阅读 · 0 评论 -
Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException):
解决办法有两个第一种:去掉hdfs的用户权限检验机制,通过在hdfs-site.xml中配置dfs.permissions.enabled为false即可第二种:把代码打包到linux中执行在这里为了在本地测试方便,我们先使用第一种方式1:停止Hadoop集群[root@bigdata01 ~]# cd /data/soft/hadoop-3.2.0[root@bigdata01 hadoop-3.2.0]# sbin/stop-all.shStopping namenodes on [big原创 2021-11-03 08:24:27 · 1511 阅读 · 0 评论 -
HDFS配置HA
下面开始配置HDFS 的HAHA集群规划 namenode datanode journalnode zkfc zookeeperbigdata01 yes yes yes yesbigdata02 yes yes yes yes yesbigdata03 yes yes yes yes解释:针对HDFS的HA集群,在这里我们只需要启动HDFS相关的进程即可,YARN相关的进程可以不启动,它们两个的进程本来就是相互独立的。在HDFS的原创 2021-10-28 08:54:33 · 689 阅读 · 0 评论 -
java操作HDFS
package com.imooc.hdfs;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.*;import org.apache.hadoop.io.IOUtils;import org.apache.hadoop.yarn.webapp.hamlet2.Hamlet;import java.io.FileInputStream;import java.io.FileOutputStream;i原创 2021-10-27 09:33:04 · 130 阅读 · 0 评论 -
HDFS上传文件
上传目录创建目录在HDFS中创建hadoop目录命令:hadoop fs -mkdir /hadoop单台机器需要上传文件的路径 放到这里才能上传原创 2021-10-27 09:29:37 · 169 阅读 · 0 评论 -
集群执行报错bin/hfs namenode -format
属于正常现象原创 2021-10-26 14:02:05 · 68 阅读 · 0 评论