Linux
Jackie_ZHF
日日新 苟日新 又日新
展开
-
搭建本地yum源
搭建yum本地源 1、虚拟机挂载光盘ios 完整版 2、linux主机中mount命令执行挂载[root@node2 ~]# mount /dev/cdrom /mnt/mount: block device /dev/sr0 is write-protected, mounting read-only[root@node2 ~]# ls /mnt/CentOS_BuildTag GPL...原创 2018-02-26 19:03:38 · 263 阅读 · 0 评论 -
MySQL5.7安装部署文档
一、安装配置MySQL的yum源# 安装MySQL的yum源,下面是RHEL6系列的下载地址rpm -Uvh https://dev.mysql.com/get/mysql-community-release-el6-5.noarch.rpm # 安装yum-config-manageryum install yum-utils -y # 禁用MySQL5.6的源yum-config-manage...原创 2018-06-28 18:55:37 · 781 阅读 · 0 评论 -
Hadoop2.x搭建部署
Hadoop2.X HA搭建四台机器:hadoop1,hadoop2,hadoop3,hadoop4 NN DN ZK ZKFC JN RM NM(任务管理) Hadoop1 Y Y Y Hadoop2 Y Y Y Y Y Y Y Hadoop3 Y Y Y Y Hadoop4 Y Y ...原创 2018-07-10 19:27:29 · 319 阅读 · 0 评论 -
Python Hadoop使用时注意的坑-- MRJob框架及python环境运行
时间有限复杂的问题简单说,什么都不如来干货~使用MRJob框架 时用网上说的提交任务到集群的命令,程序会跑着挂掉。。。报143 127 的错误!!后来才发现正确的是:本地运行命令 python mypyfile.py -r local <input> python mypyfile.py -r local <input> ...原创 2018-06-29 11:34:49 · 3006 阅读 · 0 评论 -
Python Hadoop的Wordcount入门示例
Hadoop 框架是使用Java编写的但是我们仍然需要使用像C++、Python等语言来实现 Hadoop程序。尽管Hadoop官方网站给的示例程序是使用Jython编写并打包成Jar文件,这样显然造成了不便,其实,不一定非要这样来实现,我们可以使用Python与Hadoop 关联进行编程,看看位于/src/examples/python/WordCount.py 的例子。我们将...原创 2018-05-29 10:16:33 · 2371 阅读 · 0 评论 -
Linux Python3安装部署和pip安装
Linux3.5安装【为什么在Python3.X中选择这个版本,因为本人要使用TensorFlow深度学习框架,而TensorFlow只支持python3.5版本】 如果本机安装了python2,尽量不要管他,使用python3运行python脚本就好,因为可能有程序依赖目前的python2环境,比如yum。不要动现有的python2环境!一、安装python3.5准备环境(很多人死在...原创 2018-05-28 10:25:52 · 2374 阅读 · 0 评论 -
Linux磁盘挂载--解决Linux扩容和磁盘IO负载问题
Linux磁盘挂载解决扩容问题 增量数据的情况下,使得硬盘容量满载 解决磁盘IO的负载问题 现有的硬盘IO负载满载下,为了增加多个磁盘来分摊压力,如写入一个磁盘的目录下根据业务划分,写入挂载到不同磁盘的多个路径下,来达到磁盘IO的优化 一、 新增磁盘1、 在所要添加磁盘的虚拟机上右键点击设置。2、点击添加按钮。 3、选择硬盘,点击下一步 4、点击下一步。 5、根据自...原创 2018-03-05 08:59:28 · 1437 阅读 · 0 评论 -
HDFS配置参数及优化之实战经验(Linux hdfs)
HDFS优化之实战经验 Linux系统优化一、禁止文件系统记录时间 Linux文件系统会记录文件创建、修改和访问操作的时间信息,这在读写操作频繁的应用中将带来不小的性能损失。在挂载文件系统时设置noatime和nodiratime可禁止文件系统记录文件和目录的访问时间,这对HDFS这种读取操作频繁的系统来说,可以节约一笔可观的开销。可以修改/etc/fstab文件中...原创 2018-02-25 15:18:08 · 2379 阅读 · 0 评论 -
Linux下显示类似-bash-4.1# 不显示路径的解决办法
Linux下显示类似-bash-4.1# 不显示路径的解决办法解决办法: > 打开环境变量 : vim ~/.bash_profile > 修改环境变量 添加以下参数: export PS1='[\u@\h \W]\$' > source一下 使其生效 source ~/.bash_...原创 2018-02-25 15:00:16 · 813 阅读 · 0 评论 -
解决安装MySQL时登录错误--error: 'Access denied for user 'root'@'localhost' (using password: YES)'
在使用Linux安装MySQL登录时报 : mysqladmin: connect to server at 'localhost' failed error: 'Access denied for user 'root'@'localhost' (using password: YES)' 错误。解决办法:破解MySQL密码 1、停止mysql服务:service mysqld...原创 2018-02-25 14:53:17 · 652 阅读 · 2 评论 -
Cloudera Manager离线部署CDH文档 详解
Cloudera Manager离线部署CDH文档目录:Cloudera Manager离线部署CDH文档 1目录: 1一、说明 2二、系统环境搭建 31、网络配置(所有节点) 32、SSH免密码登录 33、关闭防火墙 34、关闭SELINUX 45、安装JDK 46、设置NTP 57、安装配置MySql 68、下载依赖包 7三、Clo...原创 2019-06-03 11:57:06 · 1832 阅读 · 0 评论