Hadoop大数据实战
文章平均质量分 86
记录在使用和搭建Hadoop的心得
何壹时
Java开发
展开
-
Hadoop项目(一)——利用WebStorm配置Scrapy爬虫框架
一、前情提要这次的内容将会结合我之前写的两篇Python深造篇文章,建议大家在阅读本篇文章前先浏览一下????Python爬虫深造篇(三)——Scrapy爬虫框架精文Python爬虫深造篇(四)——Scrapy爬虫框架启动一个真正的项目二、为什么Hadoop要配置Scrapy?在Hadoop集群搭建完成之后,我们完成了Hive、MySQL、Sqoop等安装,既然我们Hadoop是用来大数据分析的,那么必不可少的肯定是数据。这么说吧,我们把Hadoop集群当做是内部,他的数据来源只能从外部传入,原创 2021-11-25 22:16:54 · 952 阅读 · 23 评论 -
Linux构建SSH连接远程操作,并配置静态IP地址
构建SSH连接的软件有几个比较常用,例如Xshell,MobaXterm,我们这里使用的是MobaXterm,为什么呢?因为其支持多种远程连接的方式例如Windows和MacOS的远程桌面连接等,并且内置了SFTP功能。如果电脑是MacOS系统的直接使用电脑命令行就能配置SSH连接了。目录一、查询Linux主机IP地址二 、构建SSH连接三 、配置静态IP地址一、查询Linux主机IP地址在你的虚拟机命令行敲上ip addr这个命令查询Linux主机IP地址。二 、构建SSH连接打开MobaXte原创 2021-08-24 00:52:04 · 9642 阅读 · 5 评论 -
Hadoop——MapReduce实现单词统计和排序(图文超详细版)(内含遇到错误的解决方法)
一、前情提要上一篇文章介绍了MapReduce的Api调用方法以及eclipse的配置,这次我们就利用MapReduce对英语文章文件进行单词统计!有需要的欢迎看看我的前一篇文章:MapReduce相关eclipse配置及Api调用目录一、前情提要二、前置条件三、创建Maven工程四、修改Windows系统变量五、编写MapReduce的jar包程序六、执行单词统计二、前置条件需要安装下载方法IDEA自备hadoop-eclipse-plugin-2.7.0.jar原创 2021-11-10 23:10:41 · 12913 阅读 · 8 评论 -
Hadoop——MapReduce相关eclipse配置及Api调用(图文超详细版)(内含遇到错误的解决方法)
一、前情提要前面两篇文章我们已经成功搭建了Hadoop以及安装了Hive,Sqoop和Mysql数据库,现在我们就来利用Hadoop尝试做一个小实战,实现单词统计!还没有搭建Hadoop成功的同学,欢迎看看我之前的文章:Hadoop集群搭建(步骤图文超详细版)目录一、前情提要二、前置条件三、上传文件至HDFS四、压缩Hadoop文件五、配置Eclipse六、HDFS调用Api二、前置条件需要安装下载方法eclipse自备hadoop-eclipse-plugin原创 2021-11-10 00:29:34 · 3837 阅读 · 4 评论 -
Hadoop——HDF的Shell命令
指令目录1、创建目录与文件2、显示目录与文件名3、rm删除目录和文件4、put/get上传/下载5、cat、text、tail查看文件内容5、appendToFile追写文件6、du显示占用磁盘空间大小7、cp复制文件1、创建目录与文件mkdir创建文件夹:hdfs fs -mkdir [-p] < paths >touchz新建文件:hdfs fs -touchz URI [URI …]接受路径指定的uri作为参数,创建这些目录。其行为类似于Unix的mkdir -p,它会创建路径中的原创 2021-11-09 14:25:38 · 1594 阅读 · 4 评论 -
Hadoop使用hdfs dfsadmin -report命令不报告所有节点信息且显示数据全为0的完美解决方法
出现以下hdfs数据全为0的原因和不报告所有节点的信息,出在namenode和datanode启动id不一致,这导致的原因大部分都源于不止一次的进行Hadoop系统格式化操作。问题截图↓在hadoop文件目录有你自己新创的dfs文件,每次格式化,里面name文件存储的namenode的clusterID就会发生改变,而datanode的clusterID在第一次格式化后就会确定下来,重复的格式化操作,会导致namenode的clusterID和datanode的clusterID不一致,这样就会导致h原创 2021-10-30 12:08:30 · 6228 阅读 · 11 评论 -
Hadoop——安装MySQL、Hive以及Sqoop(步骤图文超详细版)
还没有搭建Hadoop,欢迎看看我前面的一篇文章:Hadoop集群搭建(步骤图文超详细版)目录一、前置条件二、安装Mysql三、安装Hive四、安装Sqoop一、前置条件需要安装下载方法Hive-1.2.1官网下载链接, 提取码:nzyuSqoop-1.4.6百度网盘下载 , 提取码:82itJDBC驱动包官网下载链接, 提取码:7t8d以上三个的合集包百度网盘下载,提取码:m9dqMobaXterm百度网盘下载,提取码:f64v二、安装My原创 2021-10-27 15:28:39 · 11571 阅读 · 14 评论 -
Hadoop——集群搭建(更新版)(步骤图文超详细版)
一、前置条件需要安装下载方法Vmware Workstation官网下载链接Centos7系统百度网盘下载 , 提取码:t6vajdk1.8官网下载链接MobaXterm百度网盘下载,提取码:f64vhadoop官网下载链接(最新)二、安装Centos系统三、配置Centos系统静态IP(很重要!)这里我之前的文章写过,这里就不详细讲了,有需要的可以看看我这篇文章:配置教程注意:不配置的话Centos系统无法连网原创 2021-10-26 00:31:10 · 15083 阅读 · 26 评论