Hadoop
文章平均质量分 52
Jasonwx123
温故而知新
展开
-
root用户执行sourc /etc/profile命令提示权限不够
root用户执行sourc /etc/profile命令提示权限不够原因是:我们在编辑 /etc/profile这个文件时删掉了这个文件的第一命令前面的 #我们只需要加上 #,保存 这个文件在执行 source /etc/profile 就可以了。...原创 2021-03-11 22:18:29 · 5387 阅读 · 2 评论 -
HDFS命令随堂笔记
一 hdfs文件系统http://ip地址:50070brows file system二 hdfs命令语法:hdfs dfs –命令hadoop fs –命令-命令1. 创建文件夹 datahdfs dfs -mkdir /文件夹eg:hdfs dfs -mkdir /data2. 批量创建文件夹 data2020/bigdata/tmphdfs dfs -mkdir –p /文件夹1/文件夹2Eg:hdfs dfs -mkdir -p /data2020/bigdata/tmp原创 2021-01-06 14:49:52 · 230 阅读 · 0 评论 -
MapReduce去重复数据打包服务器运行随堂笔记202111
一、 MapReduce去重复数据案例:创建一个文件 1.txtA 1a 2b 23a 2c 34输出结果:A 1a 2b 23c 34二、 准备工作1.txt将1.txt(本地文件)上传到hdfs文件系统中【hafs dfs –put 】将idea程序打jar包执行hadoop jar包的命令【hadoop jar jar_name class_name hdfs文件 输出路径】三、 细节Mavan 本地仓库Jar包四、 代码import org原创 2021-01-01 16:07:36 · 219 阅读 · 0 评论 -
zookeeper客户端(Client)命令随堂笔记20201225
一、重点重点:filePath + fileName二、回顾zookeeper(zk)安装jdk zookeeper 压缩包上传解压出来 复制到哪tar -zxvf 压缩包 -C path注意:path路径:/user/local [jdk/hadoop]/opt [zk]配置文件重点:filePath + fileNameEg: vi ~/.bashrc生效文件重点:filePath + fileNameEg: source ~/.bashrc原创 2020-12-25 10:56:07 · 774 阅读 · 0 评论 -
zookeeper 搭建随堂笔记1216
zookeeper 搭建一. 上传压缩包File文件上传工具上传到:/homejdkzookeeper二、解压复制tar –zxvf 压缩文件 –C pathtar -zxvf jdk-8u112-linux-x64.tar.gz -C /usr/localexport JAVA_HOME=/usr/local/javaexport PATH=JAVAHOME/bin:JAVA_HOME/bin:JAVAHOME/bin:PATHsource ~/.bashrc区别:/opt原创 2020-12-16 15:57:34 · 98 阅读 · 0 评论 -
MaperReducer 打包上传服务器运行_随堂笔记1211
一、JdkJava开发工具包kitJrePath:jdk(jre)Dos :windows + r cmdJava javac java -versionPath常见配置:计算机 》 属性 》高级系统设置 》环境变量 》系统变量path: ;jdk\bin; jdk下面的bin目录(必须包含bin目录)Eg:D:\Program Files wx\Java\jdk1.8.0_45\bin新建系统变量变量名:JAVA_HOME值(value):jdk路径 (不能包含bin目录)Eg原创 2020-12-11 11:08:54 · 188 阅读 · 0 评论 -
Hadoop常用命令
Hadoop常用命令语法:hadoop fs –命令hadoop fs –help 查看帮助hadoop fs -ls / 查看当前目录信息3.hadoop fs –ls –R / 查看当前目录和文件hadoop fs –mkdir /文件夹名字hadoop fs -mkdir –p /文件夹/文件夹1/文件夹2eg:hadoop fs -mkdir -p /a/b/chadoop fs –rm -r /文件夹eg: hadoop fs -rm -r /zo原创 2020-12-02 16:10:43 · 470 阅读 · 0 评论 -
ssh localhost免密码登录随堂笔记20201118
ssh localhost免密码登录随堂笔记1. 找到ssh相关文件 .sshfind / -name .sshRes: /root/.ssh分析:/root 等同与 ~结论:.ssh 文件就是指 根目录【~】下边ls :显示文件(不包括隐藏文件 . …)ls -a :显示所有文件2. 切换到 .sshcd ~/.ssh两步:2.1 切换到 ~ 目录2.2 cd .ssh3. 生成公钥和私钥ssh-keygen -t rsa4.授权cat id_rsa.pub原创 2020-11-18 16:00:09 · 136 阅读 · 0 评论 -
Cenos7 ssh免密登录20201106随堂笔记
Cenos7 ssh免密登录想象:当ssh localhost每次都会输入:password需求:现在想让不需要密码直接登录准备工作:找到 .ssh〉.ssh 这个文件的路径path[/root/.ssh]〉find / -name .ssh切换到.ssh目录第一种方法:find / -name .sshcd /root/.ssh或者第二种方法:cd ~/.ssh总结: cd /root/.ssh 等价于cd ~/.ssh所以之后切换.ssh目录时,直接使原创 2020-11-06 11:39:59 · 119 阅读 · 0 评论 -
Centos7防火墙开启、关闭、阻止开机重启随堂笔记
Centos7防火墙开启、关闭、阻止开机重启firewalld.service 防火墙服务status : 开启running 、关闭deadsystemctlsystemctl status firewalld.service 查看防火墙状态if active:runningsystemctl stop firewalld.service 关闭防火墙systemctl disable firewalld.service 开机禁用systemctl enable fire原创 2020-11-04 15:58:53 · 377 阅读 · 0 评论