Hadoop
文章平均质量分 54
--
野草说技术
这个作者很懒,什么都没留下…
展开
-
大数据-基础知识
记录技术,分享技术——阿青大数据数据 Data数据是指对客观事件进行记录并可以鉴别的符号,是对客观事物的性质、状态以及相互关系等进行记载的物理符号或这些物理符号的组合,是可识别的、抽象的符号。图像、文本、符号、视频、声音都是数据。计算机中的数据:二进制表示,1Byte = 8bit。大数据 Big Data大数据(big data),是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息.原创 2020-07-13 17:21:43 · 240 阅读 · 0 评论 -
Linux安装、启动、卸载ssh
1.安装SSH如果你用的是redhat,fedora,centos等系列linux发行版,那么敲入以下命令:sudo yum install sshd 或sudo yum install openssh-server(由osc网友 火耳提供)如果你使用的是debian,ubuntu,linux mint等系列的linux发行版,那么敲入以下命令:sudo apt-get install sshd 或sudo apt-get install openssh-server(由osc网友 火耳提供)转载 2021-02-16 11:27:48 · 4701 阅读 · 0 评论 -
Hadoop伪分布式集群ssh免密码登录
ssh准备rpm -qa | grep sshps aux | grep ssh键入上述命令可分别查看ssh是否安装和sshd服务是否启动上图表示已安装且已启动若未安装可参考公钥私钥生成在Hadoop用户目录下,进入.ssh文件夹,没有就创建一个。ssh-keygen -t rsa键入上述命令生成一对公私钥,遇到提示就键入回车。最后生成id_rsa和id_rsa.pub文件,前者为私钥,后者为公钥。免密设置.ssh文件夹下有一个authorized_keys文件,存放远程免密原创 2021-02-16 11:25:14 · 631 阅读 · 1 评论 -
Hadoop伪分布式集群安装配置
计算机开发环境:腾讯云云服务器 CentOS 7.6 64位 root用户Hadoop由JAVA开发,安装配置Hadoop之前需要安装配置JDK,可参考JDK安装配置——JAVA第一步Hadoop下载访问北京理工大学镜像网站下载或者键入wget命令下载wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gzHadoop解压键入解压命令,路径自定义tar zxf hadoop-3.2.原创 2021-02-16 11:56:35 · 452 阅读 · 0 评论 -
zookeeper 8080端口占用启动失败
zookeeper较新版本中有个内嵌的管理控制台是通过jetty启动,会默认占用8080端口。下图是3.5.9版本的zookeeper直接访问相关端口的返回页面,Powered by Jetty。解决方法:删除jetty修改端口,两种方式:zoo.cfg中增加配置admin.serverPort=未被占用的端口号在启动脚本中增加-Dzookeeper.admin.serverPort=未被占用的端口号停用相关服务,在启动脚本中增加-Dzookeeper.admin.enableServ原创 2021-02-16 23:18:38 · 374 阅读 · 0 评论 -
WARNING: HADOOP_SECURE_DN_USER has been replaced by HDFS_DATANODE_SECURE_USER.
Hadoop启动时报错WARNING: HADOOP_SECURE_DN_USER has been replaced by HDFS_DATANODE_SECURE_USER.原因是Hadoop安装配置于root用户下,对文件需要进一步的配置,应该是由于新版Hadoop这个配置的参数更新了,所以出现了警告。只需将参数更新即可。需要更新的文件:start-dfs.sh、stop-dfs.sh# 旧版HDFS_DATANODE_USER=rootHADOOP_SECURE_DN_USER=hdf原创 2020-07-16 12:29:42 · 10010 阅读 · 1 评论