学习
文章平均质量分 67
mm倪小歪
这个作者很懒,什么都没留下…
展开
-
Hadoop集群启动中的问题
当集群启动后只有一个活跃live的时候org.apache.hadoop.hdfs.server.blockmanagement.DatanodeManager: Unresolved datanode registration: hostname cannot be resolved解决方法:在hdfs-site.xml中添加下面配置<property><name>dfs.namenode.datanode.registration.ip-hostna...原创 2021-06-23 16:06:05 · 411 阅读 · 2 评论 -
Apache Hadoop 完全分布式集群搭建(六)----集群测试
测试需求:从linux本地文件系统上传下载文件验证HDFS集群工作正常原创 2021-05-28 14:39:18 · 130 阅读 · 0 评论 -
Apache Hadoop 完全分布式集群搭建(五)----启动集群
注意:如果集群是第一次启动,需要在Namenode所在节点格式化NameNode,非第一次不用执行格 式化Namenode操作!!原创 2021-05-28 14:00:11 · 152 阅读 · 0 评论 -
Apache Hadoop 完全分布式集群搭建(四)----分发配置
文章内容输出来源:拉勾教育大数据高薪训练营rsync 远程同步工具rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。 rsync和scp区别:用rsync做文件的复制要比scp的速度快,rsync只对差异文件做更新。scp是把所有文 件都复制过去。 命令 选项参数 要拷贝的文件路径/名称 目的用户@主机:目的路径/名称 案例需求:循环复制文件到集群所有节点的相同目录下 1、三台虚拟机安装rsync2、在...原创 2021-05-26 16:16:23 · 106 阅读 · 0 评论 -
Apache Hadoop 完全分布式集群搭建(三)----集群配置
文章内容输出来源:拉勾教育大数据高薪训练营Hadoop集群配置 = HDFS集群配置 + MapReduce集群配置 + Yarn集群配置HDFS集群配置1、将JDK路径明确配置给HDFS(修改hadoop-env.sh)vim /opt/lagou/servers/hadoop-2.9.2/etc/hadoop/hadoop-env.sh2、指定NameNode节点以及数据存储目录(修改core-site.xml)vim /opt/lagou/servers/hadoop.原创 2021-05-26 10:44:56 · 160 阅读 · 0 评论 -
Apache Hadoop 完全分布式集群搭建(二)----安装Hadoop
文章内容输出来源:拉勾教育大数据高薪训练营集群规划框架 centos7-1 centos7-2 centos7-3 HDFS NameNode、DataNode DataNode SecondaryNameNode、DataNode YARN NodeManager NodeManager NodeManager、ResourceManager原创 2021-05-26 09:48:56 · 113 阅读 · 0 评论 -
Apache Hadoop 完全分布式集群搭建(一)----虚拟机环境准备
克隆三台虚拟机使用VMware Workstation安装一个centos7系统,并克隆2台,将三台虚拟机分别进行如下配置配置静态ip修改网络配置文件ifcfg-ens33的ip地址vi /etc/sysconfig/network-scripts/ifcfg-ens33原创 2021-05-25 09:37:19 · 130 阅读 · 0 评论 -
开启大数据之路的历程
加入拉勾教育的第54天。作为一个入行八年之久的程序猿老阿姨,虽然在这个行业摸爬滚打了很久,却感觉时间越久越脱离正轨。时间一点点消磨殆尽,可是我还在起点上蹦蹦跶跶。选择拉勾可能是机缘巧合。因为2020的疫情,不得不脱离原来的舒适圈,换个环境。原来的公司偏系统软件,所以对新技术的要求门槛不高;但是新的公司主攻的确是大数据方向的技术,小白一进公司就觉得两眼一抹黑。想学习不知道怎么开始,后来在一个技术群里看到了拉勾的推荐,就试着加了老师了解一下,看到课程目录的时候眼前放光,哈哈。新技术是一方面,主要是前期的预科..原创 2021-03-08 15:47:13 · 173 阅读 · 0 评论 -
HttpClient
1.使用HttpClient 需要以下 6 个步骤:创建 HttpClient 的实例 创建某种连接方法的实例,在这里是GetMethod。在 GetMethod 的构造函数中传入待连接的地址调用第一步中创建好的实例的 execute 方法来执行第二步中创建好的 method 实例 读 response 释放连接。无论执行方法是否成功,都必须释放连接对得到后的内容进行转载 2016-08-19 15:28:30 · 302 阅读 · 0 评论