大数据处理技术--基于Hadoop的技术分析
关注
分享
扫一扫
从Hadoop环境搭建开始，由浅入深，结合理论和实践，详细地介绍Hadoop这一高性能处理海最数据集的理想工具。Haddoop; MapReduce;Hadoop分布式文件系统;
忆＆往浠℃
这个作者很懒，什么都没留下…
展开
-
Linux报错:ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/tmp/mysql.sock' (2)
前言在进行安装配置mysql的实验中，登录mysql是输入正确的密码，却总是报错ERROR 2002 (HY000): Can’t connect to local MySQL server through socket ‘/tmp/mysql.sock’ (2)。于是，我就上网百度了一下相关的博客，发现并不能解决问题，SO ，只能从错误的原理出发，捣鼓了半天才弄好。我就将这些方法分享给大家。在Linux安装MySQL有时候会出现==[mysql]ERROR 2002 (HY000): Can’t co原创 2020-05-09 23:10:45 · 1068 阅读 · 0 评论 -
HBase的伪分布式安装与部署（基于hbase-1.2.6，详细）！！！
文章目录前言：1在Master节点上安装HBase.2在Master节点上配置HBase-env.sh1.修改环境变量hbase-env.sh2.修改配置文件hbase-site.xml3.创建数据目录4.设置regionservers5.设置环境变量。6.配置HMaster的备份。3.将HBase安装文件复制到Slave、Slave2 和Slave3节点上4.启动HBase5验证HBase。6....原创 2020-04-24 18:31:25 · 1468 阅读 · 0 评论 -
zookeeper集群模式的安装与部署（基于hadoop-2.7.3）详细版！！！
文章目录step1.将Zookeeper安装包放在家目录下，并解压。step2.检测是否解压成功step3.在master节点上配置服务器核心属性。step4.在laster节点和Slave,Slave2,Slave3 节点上分别添加myid文件step5.将Master节点上的Zookeeper安装文件复制到Slave,Slave2,Slave3节点上step6.启动ZooKeeper集群本篇...原创 2020-04-10 21:47:17 · 370 阅读 · 0 评论 -
Hadoop环境搭建过程中遇到的问题及解决方法
文章目录1.启动hadoop之前，ssh免密登录slave主机正常，使用命令start-all.sh启动hadoop时，需要输入slave主机的密码，说明ssh文件权限有问题，需要执行以下操作：2.启动hadoop之后，使用jps查看，master服务器中没有namenode服务，解决方案如下：3.启动hadoop之后，使用jps查看，master服务器中没有datanode服务，解决方案如下：4...原创 2020-03-19 16:05:58 · 1896 阅读 · 0 评论 -
HDFS的基本操作
文章目录HDFS的设计分布式文件系统NameNode与DataNodeHDFS的常用命令新建目录：上传文件至dfs：移动与删除HDFS的设计分布式文件系统客户：帮我保存一下这几天的数据。程序猿：好嘞，有多大呢？客户：1T。程序猿：好没问题，买个硬盘就搞定了。一个月后…客户：帮我保存下这几个月的数据。程序猿：好嘞，这次有多大呢？客户：1024T。程序猿：哇，这么大吗？没有这么大...转载 2020-03-15 21:25:53 · 1690 阅读 · 0 评论 -
搭建Hadoop伪分布式集群环境--基于(hadoop-2.7.3+centos6.9)（保证一学就会！！简单，易懂）
配置linux系统1.1实验前准备把下载的hadoop和jdk分别移到这两个文件夹中。（这两个文件夹是自己建的）将jdk和hadoop压缩包拖进所创建的目录1.2配置时钟同步1.在Master节点上配置(1)配置自动时钟同步。0 1 * * * /usr/sbin/ntpdate cn.pool.ntp.org（2）手动同步时间/usr/sbin/ntpdate cn.poo...原创 2020-03-15 10:45:27 · 747 阅读 · 0 评论