![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
csdn_xiaofeng
这个作者很懒,什么都没留下…
展开
-
https://llovewxm1314.blog.csdn.net/article/details/108458197
[root@k8s-master ~]# kubectl get csWarning: v1 ComponentStatus is deprecated in v1.19+NAME STATUS MESSAGE ERRORcontroller-manager Unhealthy G...原创 2020-12-12 22:09:09 · 1209 阅读 · 0 评论 -
安装fastDFS
安装FastDFSyum -y install gcc unzip pcre-devel zlib zlib-devel openssl openssl-develyum -y install gcc gcc-c++ libstdc++-devel pcre-devel zlib-devel wget makeyum -y groupinstall 'Development Tools'yum -y install gcc pcre-devel zlib-devel openssl openssl-原创 2020-11-27 09:27:20 · 130 阅读 · 0 评论 -
离线安装CDH
离线安装CDH原创 2020-11-25 11:39:41 · 66 阅读 · 0 评论 -
hive 插入数据的时候,不能直接运行,报错FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.
hive 插入数据的时候,不能直接运行,报错错误原因:namenode内存空间不够,JVM剩余内存空间不够新job运行所致错误提示Starting Job = job_1594085668614_0006, Tracking URL = http://kudu:8088/proxy/application_1594085668614_0006/Kill Command = /root/soft/hadoop-3.2.1/bin/mapred job -kill job_1594085668614原创 2020-07-07 09:54:54 · 2632 阅读 · 1 评论 -
修改kafka、zookeeper启动内存大小
1.修改bin目录下的 zookeeper-server-start.sh,将初始堆的大小(-Xms)设置小一些export KAFKA_HEAP_OPTS="-Xmx512M -Xms512M"修改bin目录下的kafka-server-start.sh文件,将初始堆的大小(-Xms)设置小一些 export KAFKA_HEAP_OPTS="-Xmx1G -Xms128M"在config目录下的server.properties中增加 log.cleaner.dedupe.buffer.原创 2020-07-06 14:57:23 · 4823 阅读 · 0 评论 -
linux 上传文件 yum -y install lrzsz
从本地上传文件到linux 服务器运行yum -y install lrzsz直接拖拽就可以实现原创 2020-06-30 13:23:33 · 2248 阅读 · 0 评论 -
centos 7安装nodejs
1.安装wgetyum install wget2.下载对应文件wget -c https://nodejs.org/dist/v8.9.1/node-v8.9.1-linux-x64.tar.xz3.解压tar -xvf node-v8.9.1-linux-x64.tar.xz4.重命名mv node-v8.9.1-linux-x64 nodejs5.查看版本node --version7.解决npm安装失效问题 sudo vim /etc/profile#在文件的底部原创 2020-06-30 11:31:14 · 147 阅读 · 0 评论 -
pyenv & virtualenv 的安装与使用
1、 安装pyenv、创建安装目录mkdir /.pyenv 3、 下载安装文件git clone https://github.com/yyuu/pyenv.git ~/.pyenv5、 配置环境变量echo ‘export PYENV_ROOT="$HOME/.pyenv"‘ >> ~/.bash_profileecho ‘export PATH="$PYENV_ROOT/bin:$PATH"‘ >> ~/.bash_profile8、 添加pyenv初始化到原创 2020-06-29 09:23:40 · 328 阅读 · 0 评论 -
Spark RDD 操作
1、创建SparkSession//创建一个SparkSession,在Spark2.1中,SparkSession包括了SparkContext,若想使用SparkContext,用sc.sparkContext即可 val sc = SparkSession .builder() .appName("ttt") //.enableHiveSupport() .getOrCreate() 2、RDD创建 //创建intRDD原创 2020-06-28 09:10:04 · 196 阅读 · 0 评论 -
安装单机版本hadoop
安装单机版本hadoop1、安装java 略…2、下载hadoop3.2.1wget https://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz3、解压缩tar zxvf hadoop-3.2.1/hadoop-3.2.1.tar.gz -C /root/soft/4、进入目录更改配置文件cd /root/soft/hadoop-3.2.1/etc/hadoop/5、添加环境变量vi原创 2020-06-24 10:40:07 · 152 阅读 · 0 评论