![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
linux&&hadoop&spark
文章平均质量分 97
Linux学习及hadoop环境安装和使用
Jancy丶
争取每天总结一点点
展开
-
新安装CentOS Linux开发环境配置
本文将介绍新安装的centos完成开发环境配置的介绍,希望对你有帮助。纲要输入法设置、快捷键添加打开终端安装Chrome终端美化等jdk配置,eclipse安装,pycharm安装安装各种库,maven、findbugs、protocolBuffer安装进阶的桌面美化1、输入法设置、快捷键添加打开终端输入法设置一般centos安装时选择的汉语键盘布局不是一个真正的汉语输入法...原创 2020-03-25 00:14:40 · 559 阅读 · 0 评论 -
centos7Hadoop安装配置
本文介绍centos7Hadoop配置以及一些个人发现的问题。1、Hadoop伪分布式配置这里推荐一篇专业文章:http://dblab.xmu.edu.cn/blog/install-hadoop-in-centos/按照所述步骤即可完成。注意:我这里是伪分布式配置,中间的单机分布配置请忽略。jdk配置因为个人安装版本以及使用终端的不同,配置参数也会不同。如果你使用的cen...原创 2020-03-25 23:05:05 · 444 阅读 · 0 评论 -
CentOS7之spark安装配置
本文介绍centos7spark安装配置以及一些个人发现的问题。1、Spark2.4.0安装配置这里推荐一篇专业文章:http://dblab.xmu.edu.cn/blog/2501-2/#more-2501按照所述步骤即可完成。注意:安装所需的hadoop配置安装可见我的另一篇博文:https://blog.csdn.net/qq_43175022/article/details...原创 2020-04-17 16:58:05 · 688 阅读 · 0 评论 -
CentOS7之hbase、hive安装配置
本文介绍centos7中hbase、hive安装配置以及一些个人发现的问题。1、hbase2.2.2安装配置这里推荐一篇专业文章:http://dblab.xmu.edu.cn/blog/2442-2/#more-2442按照所述步骤即可完成。注意:*安装所需的hadoop配置安装可见我的另一篇博文:https://blog.csdn.net/qq_43175022/article/...原创 2020-05-08 00:35:21 · 850 阅读 · 0 评论 -
CentOS7之sqoop安装配置和mysql相关问题
本文介绍centos7中mysql相关和sqoop安装配置1、sqoop1.4.6安装配置这里推荐一篇专业文章:http://dblab.xmu.edu.cn/blog/2442-2/#more-2442按照所述步骤即可完成。注意:文章有一处表述错误,sqoop1最新版本为1.4.7,并非1.4.6之后的就为sqoop2。sqoop1和sqoop2区分方法:版本号1.4.x的为sqoop1,版本号为1.99.x的为sqoop2。安装所需的其他组件配置安装可见我主页的博文:hadoop原创 2020-05-11 15:16:09 · 227 阅读 · 0 评论 -
使用Sqoop将数据从Hive导入MySQL相关的3个错误问题解决
1、Loading class `com.mysql.jdbc.Driver’. This is deprecated.在sqoop中没有像hive一样,在./conf目录下可以更改hive-site.xml中的字段,及将加载的驱动名称由com.mysql.jdbc.Driver,改为com.mysql.cj.jdbc.Driver。sqoop的./conf目录下没有类似的xml字段,所以我们需要根据我们计算机本身的mysql版本来选择mysql.jdbc链接包。即:若你是5.x.x的mysql环境,原创 2020-05-25 13:58:04 · 5891 阅读 · 1 评论 -
MongoDB的CentOS7安装配置和遇到问题
1、当我们使用离线安装mongodb完成后,推荐安装教程:http://dblab.xmu.edu.cn/blog/868-2/#more-868在使用 ’ mongod -f XXX/mongodb.conf ’ 启动mongodb服务后(XXX是conf文件存放目录,根据自己新建的位置确定。因为添加了path变量,所以我是直接使用的mongod命令)关闭mongodb服务一定要:’ mongo ’ 命令进入shell界面使用以下命令停止mongodb服务use admindb.shutd原创 2020-06-01 13:01:51 · 323 阅读 · 0 评论 -
Linux系统常用指令总结
Linux系统常用指令pwd:显示当前路径touch:文件存在时,修改文件时间不存在时,创建文件CP:复制-R:复制目录-v:显示过程mv:移动,同时还有重命名功能tail:后XX行内容搜索locate:搜索文件和目录名称grep:搜索指定文件的内容grep 字段 文件名cat:查看,还有拼接功能-n加上行号分页阅读器(越往后功能越丰富)more,向下分页less,向下或向上分页pg和most,支持多个文件和锁定屏幕等find:高原创 2020-12-17 23:40:33 · 184 阅读 · 0 评论