- 博客(13)
- 收藏
- 关注
RSS订阅原创 生产HDFS Block损坏恢复最佳实践
一.文件opencv_bigdata.md上传:-bash-4.2$ hdfs dfs -mkdir /blockrecover-bash-4.2$ echo "www.ruozedata.com" > opencv_bigdata.md-bash-4.2$ hdfs dfs -put opencv_bigdata.md /blockrecover-bash-4.2$ hdfs ...
2020-01-05 12:26:53
338
1
原创 HDFS详解一
blockbolck块一般默认为128M,运行一个文件会把这个文件分成一个一个的块来运行比如160M大小的文件会分成俩个块,第一个是占满的,而剩下的就给第二个块,也就是第一个块128M,第二个快32M那这时我们想一个问题,文件小而且多会造成什么问题?比如我们有1亿个小文件,每个文件250个字节,假设我们的namenode是4个g,这时就会把它挤爆,所以我们必须要把小文件给合并成一个差不多的...
2020-01-05 12:17:09
283
原创 Hadoop伪分布式部署之Yarn和Mapreduce
部署yarnmapreduce不用配置,因为它就是运行在yarn上面的,所以只需要配置yarn,我们废话不多说,直接来配置,我直接上代码吧,不会的先看我前面两篇[hadoop@hadoop002 hadoop]$ cd /home/hadoop/app/hadoop/etc/hadoop[hadoop@hadoop002 hadoop]$ cp mapred-site.xml.templat...
2020-01-04 21:49:18
316
原创 Hadoop伪分布式部署之HDFS二
基础配置hdfs看我上一篇,这篇是进阶,然后在这里我要讲一下,我们配置要配置hostname,因为配置ip的话可能以后在企业会进行ip迁移然后现在我们开始来配置namenode(老大):vi core-site.xml,然后配置一下代码<configuration><property> <name>fs.defaultFS</nam...
2020-01-04 21:40:29
210
原创 hadoop伪分布式部署之hdfs
部署hdfs首先先去官网下载hadoop编译完的tar包,可以去appche官网下载地址进行下载但是我这里建议还是去CDH下载下载地址,因为这里有打补丁,可以减少一些bug版本的话我建议还是下载hadoop2.x版本的,因为1.x现在没人用了,3.x又太新有bug然后我们下载的话要下载后面带bin和直接带tar.gz后缀的,不要选择src.tar.gz的现在我们就开始来部署了首先我们先...
2020-01-04 13:53:00
373
原创 Linux超级详细部署MySQL环境
通过yum部署输入yum search mysql 找到mysql-server.x86_64,然后输入yum install + mysql-server.x86_64进行MySQL服务的安装这种方法安装简单,缺点就是一般只能够自己学习通过tar包部署先要去下载一个tar包Linux的tar包下载地址然后输入yum install lrzsz 命令安装完后就可以实现windows和l...
2020-01-01 23:11:44
218
原创 Linux命令四
VI编辑器的基本使用按esc键进入命令行模式按i或a进入编辑模式按shift+:进入末行模式快捷键的使用gg定位到首行首字符dd删除光标所在行,ndd删除n行包括光标所在行dG清空G 定位到尾行首字,shitf+$定位到尾行最后一个查找:进入末行模式后 /+查找内容显示行号:set nu 取消显示:set nonu权限r代表4,w代表2,x代表1(表示读写执行)修...
2019-12-29 20:30:50
147
原创 Linux常见错误一
Permission denied (用户没有此执行权限)解决办法:切换到root用户:vi /etc/sudoers配置sudo权限,请看我上一篇ping ip出现异常就是ip输入错误ping ip+端口号(connection refused):端口号输入错误...
2019-12-29 14:33:18
382
原创 Linux命令三
普通用户的超级用户权限(sudo)vi /etc/sudoers找到## Allow root to run any commands anywhereroot ALL=(ALL) ALL然后在下面添加用户名称 ALL=(ALL) NOPASSWD:ALL(免密的意思)然后退出生效:source /etc/sudoers,此时就用户就可以使用sudo了进程和...
2019-12-29 14:21:38
517
原创 Linux基础命令二
设置输入的快捷方式(alias)alias + 快捷名称=‘想设置的命令(等号前后不能有空格)’例如:alias lin = ‘cd /home’ ,表示输入lin命令就可以进入到家目录但这样设置只是在当前界面有效alias全局设置有效:vi /ect/profile 在里面添加alias + 快捷名称='想设置的命令alias个人设置有效:vi ~/.bash_profile或vi...
2019-12-28 21:45:48
189
原创 Linux基础命令1
linux基础命令ls:查看当前路径下的文件,后加参数选项和文件路径,可省略ls -a(显示所有文件包括隐藏文件)ls-l == ll (显示文件的所有信息)ls -h(显示文件大小,只能查看文件) -t(按时间对文件进行排序) -r(倒序)du -sh 后面加上文件或文件夹名字 (查看文件或文件大小)cd命令cd == cd ~ (进入到家目录)cd - (返回上一次操作的路...
2019-12-28 12:48:14
137
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人