Linux
文章平均质量分 72
strongyoung88
记录学习点滴,勇攀技术高峰!
GitBook地址
/<a href="https://www.gitbook.com/@strongyoung">Qiang Yang/</a>
展开
-
在eclipse中关联Hadoop源代码
将Hadoop源码关联到eclipse中,方便阅读和调试程序!原创 2015-05-07 21:32:05 · 1745 阅读 · 0 评论 -
Hadoop源码学习-编译源码
编译源码非常简单,步骤如下:下载源代码安装依赖软件或库编译打包 下载源码官方下载并解压,过程略查看编译要求切换到解压后的hadoop源码根目录 此目录下有个BUILDING.txt文件,里面有对building的详细说明,以Linux为例,要求如下:Unix SystemJDK 1.7+Maven 3.0 or laterFindbugs ...原创 2017-04-02 11:37:00 · 4202 阅读 · 0 评论 -
Linux Shell 日期格式
Linux Shell 日期格式原创 2016-12-15 20:03:31 · 1378 阅读 · 0 评论 -
配置git push时无需输入用户名和密码
使用github,在git push时,需要输入用户名和密码,这会很不方便,本文介绍使用ssh来实现无需输入用户名和密码。原创 2016-11-24 16:22:55 · 5645 阅读 · 0 评论 -
CentOS7使用本地库(Local Repository)安装Ambari-2.4.1和HDP-2.5.0
前言大多数情况下,我们在linux环境中安装软件都是使用在线安装的方式,比如centOS的 yum,ubuntu的apt-get,但是,有些时候,我们需要安装软件,但并没有网络,或网速并不快,比如公司的集群,很可能是没有外网的,有些库是国外的库,下载速度非常慢,这个时候,如果有个本地库,这个问题就能比较好的解决了 。当然,并不是说所有的软件都做成本地库,这里只是把安装Ambari和HDP的库本地化。原创 2016-11-15 11:15:49 · 37429 阅读 · 1 评论 -
配置ssh无密码登录
配置ssh无密码登录翻译 2016-11-11 13:39:45 · 4450 阅读 · 0 评论 -
搭建大数据处理集群(Hadoop,Spark,Hbase)
搭建Hadoop集群配置每台机器的 /etc/hosts保证每台机器之间可以互访。 120.94.158.190 master 120.94.158.191 secondMaster1、创建hadoop用户 先创建hadoop组 sudo addgroup hadoop 然后再建一个hadoop用户加入到hadoop组,(前一个为组,后一个为用户)原创 2016-07-18 11:08:14 · 3435 阅读 · 0 评论 -
在JAVA中使用sqljdbc连接MS SQL SERVER
在JAVA中使用sqljdbc连接MS SQL SERVER原创 2016-09-20 17:17:24 · 820 阅读 · 0 评论 -
shell脚本关闭计算机集群
shell脚本关闭计算机集群原创 2016-08-14 20:42:18 · 2077 阅读 · 2 评论 -
使用Shell编写定时向指定API获取数据的脚本
场景:这个在服务器上写定时脚本的情况非常多,比如每天向定时往用户推送相关信息,定时清理相关数据,定时邮件提醒等等。本文的场景是采用shell定时向指定开放API获取数据。原创 2016-08-13 09:09:35 · 8206 阅读 · 0 评论 -
使用sshfs挂载远程主机文件到linux
将远程Windows系统主机上的文件夹挂载到本地linux主机指定目录下。原创 2016-08-04 17:42:07 · 4964 阅读 · 0 评论 -
使用JAVA连接HBase时查询数据时,无限等待问题
代码就不贴了,直接上打印出来的log情况。以下是log,然后一直等待,没有结果16/07/21 09:22:36 INFO zookeeper.ZooKeeperWrapper: Reconnecting to zookeeper16/07/21 09:22:36 INFO zookeeper.ZooKeeper: Client environment:zookeeper.version=3.4.原创 2016-07-21 11:15:09 · 7443 阅读 · 3 评论 -
Host '***' is not allowed to connect to this MySQL server"
默认情况下,root仅仅允许从localhost和127.0.0.1登录到MySQL原创 2016-07-31 21:43:54 · 3678 阅读 · 0 评论 -
ubuntu安装sbt
ubuntu 安装sbt原创 2016-08-16 10:31:10 · 894 阅读 · 0 评论 -
在Ubuntu上使用LVM对ROOT进行在线扩容
在Ubuntu上使用LVM对ROOT进行在线扩容,前提是,在安装ubuntu的时候,是使用LVM进行分区管理的原创 2016-07-29 09:59:26 · 5763 阅读 · 0 评论 -
编写Spark程序并提交到集群上运行
使用SCALA IDE, 編写Spark应用程序,提交到Spark集群上运行,最后查看结果原创 2016-07-24 15:08:07 · 5044 阅读 · 0 评论 -
Ubuntu14.04安装Maven3.2.5
Ubuntu14.04安装Maven3.2.5原创 2015-05-07 21:41:08 · 2088 阅读 · 0 评论 -
Hadoop源码学习-脚本命令(hadoop fs -ls)执行细节
Hadoop有提供一些脚本命令,以便于我们对HDFS进行管理,可以通过命令hadoop fs进行查看: 通过以上使用说明可以发现,里面提供了大多数和我们在本地操作文件系统相类似的命令,例如,cat查看文件内容,chgrp改变用户群组权限,chmod改变用户权限,chown改变用户拥有者权限,还有创建目录,查看目录,移动文件,重命名等等。hadoop fs -ls这里,我们来看看命令hadoop原创 2017-04-02 22:18:13 · 23967 阅读 · 1 评论