- 博客(12)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 安装MYSQL元数据库
安装步骤：1、环境准备(删除有冲突的依赖包、安装必须的依赖包)2、安装MySQL3、修改root口令(找到系统给定的随机口令、修改口令)4、在数据库中创建hive用户1、删除MariaDBcentos7.6自带的 MariaDB(MariaDB是MySQL的一个分支)，与要安装的MySQL有冲 突，需要删除。# 查询是否安装了mariadb rpm -aq | grep mariadb...
2021-10-12 22:34:45
116
原创 Hadoop集群启动中的问题
当集群启动后只有一个活跃live的时候org.apache.hadoop.hdfs.server.blockmanagement.DatanodeManager: Unresolved datanode registration: hostname cannot be resolved解决方法：在hdfs-site.xml中添加下面配置<property><name>dfs.namenode.datanode.registration.ip-hostna...
2021-06-23 16:06:05
423
2
原创 Apache Hadoop 完全分布式集群搭建（五）----启动集群
注意：如果集群是第一次启动，需要在Namenode所在节点格式化NameNode，非第一次不用执行格 式化Namenode操作！！
2021-05-28 14:00:11
158
原创 Apache Hadoop 完全分布式集群搭建（四）----分发配置
文章内容输出来源：拉勾教育大数据高薪训练营rsync 远程同步工具rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。 rsync和scp区别：用rsync做文件的复制要比scp的速度快，rsync只对差异文件做更新。scp是把所有文 件都复制过去。 命令 选项参数 要拷贝的文件路径/名称 目的用户@主机:目的路径/名称 案例需求：循环复制文件到集群所有节点的相同目录下 1、三台虚拟机安装rsync2、在...
2021-05-26 16:16:23
111
原创 Apache Hadoop 完全分布式集群搭建（三）----集群配置
文章内容输出来源：拉勾教育大数据高薪训练营Hadoop集群配置 = HDFS集群配置 + MapReduce集群配置 + Yarn集群配置HDFS集群配置1、将JDK路径明确配置给HDFS（修改hadoop-env.sh）vim /opt/lagou/servers/hadoop-2.9.2/etc/hadoop/hadoop-env.sh2、指定NameNode节点以及数据存储目录（修改core-site.xml）vim /opt/lagou/servers/hadoop.
2021-05-26 10:44:56
162
原创 Apache Hadoop 完全分布式集群搭建（二）----安装Hadoop
文章内容输出来源：拉勾教育大数据高薪训练营集群规划框架 centos7-1 centos7-2 centos7-3 HDFS NameNode、DataNode DataNode SecondaryNameNode、DataNode YARN NodeManager NodeManager NodeManager、ResourceManager
2021-05-26 09:48:56
117
原创 Apache Hadoop 完全分布式集群搭建（一）----虚拟机环境准备
克隆三台虚拟机使用VMware Workstation安装一个centos7系统，并克隆2台，将三台虚拟机分别进行如下配置配置静态ip修改网络配置文件ifcfg-ens33的ip地址vi /etc/sysconfig/network-scripts/ifcfg-ens33
2021-05-25 09:37:19
136
原创 Hadoop简介
文章内容输出来源：拉勾教育大数据高薪训练营什么是Hadoop狭义的定义：Hadoop是一个框架，HDFS（分布式文件系统）+MapReduce（分布式离线计算框架）+yarn（资源调度框架）广义的定义：不仅仅包含hadoop框架，还包括Flume（日志数据采集）、Hive（深度依赖Hadoop框架完成计算）等。Hadoop的特点扩容能力：在计算机集群内分配数据并完成计算任务，集群可以方便的扩展到数以千计个节点 低成本：通过普通廉价的机器组成成服务器集群来分发以及处理数据，以至于成.
2021-05-20 16:38:13
351
原创 Linux命令汇总
1、常用的快捷键 tab键：命令或者路径提示及不全 ctrl+c：放弃当前输入，终止当前任务或程序 ctrl+l：清屏 ctrl+insert：复制 鼠标右键：粘贴 alt+c：断开连接 ctrl+shift+R：重新连接 alt+1/2/3....：切换窗口 上下键：查找执行过的命令，或者是history命令2、其它常用命令 ls：查看当前目录下的内容 ...
2021-05-14 16:50:14
133
原创 开启大数据之路的历程
加入拉勾教育的第54天。作为一个入行八年之久的程序猿老阿姨，虽然在这个行业摸爬滚打了很久，却感觉时间越久越脱离正轨。时间一点点消磨殆尽，可是我还在起点上蹦蹦跶跶。选择拉勾可能是机缘巧合。因为2020的疫情，不得不脱离原来的舒适圈，换个环境。原来的公司偏系统软件，所以对新技术的要求门槛不高；但是新的公司主攻的确是大数据方向的技术，小白一进公司就觉得两眼一抹黑。想学习不知道怎么开始，后来在一个技术群里看到了拉勾的推荐，就试着加了老师了解一下，看到课程目录的时候眼前放光，哈哈。新技术是一方面，主要是前期的预科..
2021-03-08 15:47:13
175
转载 HttpClient
1.使用HttpClient 需要以下 6 个步骤：创建 HttpClient 的实例 创建某种连接方法的实例，在这里是GetMethod。在 GetMethod 的构造函数中传入待连接的地址调用第一步中创建好的实例的 execute 方法来执行第二步中创建好的 method 实例 读 response 释放连接。无论执行方法是否成功，都必须释放连接对得到后的内容进行
2016-08-19 15:28:30
306
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人