枪枪枪的博客

code:编译打包后放到服务器上用java -classpath XXX.jar XXX.BulkLoadDataToHBase /path outPutTabel运行程序前需要先在HBase中建好表此时运行会出现报错错误原因是程序运行时无法找到libsnappy.so.*相关的文件，检查了一遍程序中打包的依赖,发现可以找到对应的类在google上搜索了后发现，有人建议在运行jar时添加-Djava.library.path=/XXX/hadoop/native/选项后，解决了问题。于是在服务器上

文章目录CPU内存参考资料在Cloudera Manager的群集内选择yarn进入yarn的配置界面在筛选器一栏中选择资源管理CPU搜索配置项yarn.nodemanager.resource.cpu-vcores可以为容器分配的虚拟 CPU 内核的数量这个数值可以大于物理机实际的cpu内核数量，cdh好像不会校验，这里一般按1:1来设置数值根据node manager节点所在物理机的配置来设置集群所有物理机的信息在“主机”页面进行查看内存搜索yarn.nodemanag

文章目录硬件准备虚拟机方案硬盘分区方案/bootswarp分区/网络配置配置vmware的虚拟网络配置Win10的网络配置虚拟机的网卡配置通过ssh工具连接虚拟机克隆虚拟机部署注意事项配置网络名称关闭防火墙设置 SELinux 模式启用NTP服务安装python2.7或更低版本CDH需要占用的端口安装http搭建本地http服务配置CDH本地存储库安装Cloudera Manager配置mysql安装CDH硬件准备虚拟机方案硬盘分区方案/boot装载系统启动引导程序的

Container [pid=37559,containerID=container_1628828462188_0002_01_000002] is running 325274112B beyond the 'VIRTUAL' memory limit. Current usage: 262.8 MB of 1 GB physical memory used; 2.4 GB of 2.1 GB virtual memory used. Killing container.在mapred-site

[hadoop@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /wcinput/wcinput /wcoutput2021-08-13 12:00:31,159 INFO client.RMProxy: Connecting to ResourceManager at hadoop103/192.168.10.103:80322021-08.

[hadoop@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /wcinput/wcinput /wcoutput2021-08-13 11:57:39,172 INFO client.RMProxy: Connecting to ResourceManager at hadoop103/192.168.10.103:80322021-08.

=======================================================================记录一下吧，刚学的时候命令都记住了，一段时间不用基本上又还回去了，…=======================================================================文章目录Environment VAria...

一、点击 file->Project Structure->Project Settings->Modules二、点击“+”，选择1，添加jar文件三、添加文件三、点击“Apply”后点击“OK”，完成！可以在这里查看导入的jar包...

==============================================================================现象1.日志中提示：ERROR [Thread-14] master.HMaster: Failed to become active master2.进入hbase shell中进行数据库操作提示：KeeperErrorCode =...

一开始尝试安装的是HBase 2.1.4 但是安装后部分功能无法启动。从官网上下载hbase-2.0.5-bin.tar.gz文件后进行解压[admin@localhost local]$ sudo tar -zxf //home/hadoop/下载/hbase-2.0.5-bin.tar.gz -C /usr/local将解压的文件更名为hbase[admin@localhost ~...

=======================================================================hadoop版本：3.1.2CentOS7编译环境：  Openjdk1.8.0  Ideahadoop中的所有jar包均在share文件夹内===================================================...

=======================================================================博客写于：2019年3月30日16:43:18尝鲜：安装了Hadoop 3.1.2后，想要下载合适版本的HBase，于是从官网搬运了HBase对于Hadoop的支持矩阵。贴一段摘自官网的建议：建议使用Hadoop 2.x.Hadoop 2.x速度更...

=======================================================================在安装hadoop后，运行hadoop时提示ERROR: JAVA_HOME is not set and could not be found.需要配置java路径，于是便重新安装openjdk 1.8=======================...

正文：hadoop的安装http://dblab.xmu.edu.cn/blog/install-hadoop-in-centos/hadoop相关环境变量配置：（这一步很关键！！！）[hadoop@localhost hadoop-3.1.2]$ vim ~/.bashrc注：.bashrc仅对当前用户生效，.profile对所有用户生效# Hadoop Environment Va...