linux
a925907195
best
展开
-
Ubuntu Linux 环境变量PATH设置
Ubuntu Linux 环境变量PATH设置Ubuntu Linux系统环境变量配置文件: /etc/profile : 在登录时,操作系统定制用户环境时使用的第一个文件 ,此文件为系统的每个用户设置环境信息,当用户第一次登录时,该文件被执行。 /etc /environment : 在登录时操作系统使用的第二个文件, 系统在读取你自己的profile前,设置环境文件的环转载 2014-11-13 21:17:52 · 615 阅读 · 0 评论 -
利用ubuntu12.04搭建高可用的hadoop集群
利用ubuntu12.04搭建高可用的hadoop集群1、集群部署介绍1.1 Hadoop简介Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS,HadoopDistributed Filesystem)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用户提供了系统底层细节透明的分布式基础原创 2014-11-15 13:29:45 · 917 阅读 · 0 评论 -
linux 下sed使用
sed是一个很好的文件处理工具,本身是一个管道命令,主要是以行为单位进行处理,可以将数据行进行替换、删除、新增、选取等特定工作,下面先了解一下sed的用法sed命令行格式为: sed [-nefri] ‘command’ 输入文本 常用选项: -n∶使用安静(silent)模式。在一般 sed 的用法中,所有来自 STDIN的资料一般转载 2015-01-07 22:04:22 · 638 阅读 · 0 评论 -
linux-awk命令详解
简介awk是一个强大的文本分析工具,相对于grep的查找,sed的编辑,awk在其对数据分析并生成报告时,显得尤为强大。简单来说awk就是把文件逐行的读入,以空格为默认分隔符将每行切片,切开的部分再进行各种分析处理。awk有3个不同版本: awk、nawk和gawk,未作特别说明,一般指gawk,gawk 是 AWK 的 GNU 版本。awk其名称得自于它的创始人 Alfr转载 2014-12-21 17:45:53 · 635 阅读 · 0 评论 -
linux-sed命令
1.简介sed是非交互式的编辑器。它不会修改文件,除非使用shell重定向来保存结果。默认情况下,所有的输出行都被打印到屏幕上。sed编辑器逐行处理文件(或输入),并将结果发送到屏幕。具体过程如下:首先sed把当前正在处理的行保存在一个临时缓存区中(也称为模式空间),然后处理临时缓冲区中的行,完成后把该行发送到屏幕上。sed每处理完一行就将其从临时缓冲区删除,然后将下一行读入,进行转载 2014-12-21 17:44:04 · 629 阅读 · 0 评论 -
MapReduce-过程介绍(求温度最大值)
Hadoop的内部工作机制: 分布式系统理论, 实际工程和常识于一体的系统.但是,Hadoop提供的用于构建分布式系统的工具–数据存储, 数据分析,和协调处理–都非常简单.每个阶段都以key/value对作为输入和输出, 类型由程序员选择.程序员需要定义两个函数: map函数和reduce函数.对于map阶段, 输入的是原始的NCDC(国家气候数据中心)数据原创 2014-12-22 21:16:06 · 3842 阅读 · 0 评论 -
ssh/scp:ssh_exchange_identification:Connection closed by remote host的问题
ssh/scp:ssh_exchange_identification:Connection closed by remote host的问题 使用ssh/scp时,出现下列问题: Java代码 ssh_exchange_identification: Connection closed by remote host 解决办法:转载 2015-04-29 12:04:09 · 4117 阅读 · 0 评论 -
把vim打造成C++ IDE
目录(?)[-]准备工作第一个插件pathogenauto-pairsNERDTreeMiniBufExplorerctagstaglistomnicppcompletectagstaglistOmniCppCompleteSuperTab最终的配置文件总结对于windows上做C++开发的用户来说,vs为他们做了大量的工作,语法高亮、自动缩进、智能转载 2015-11-26 11:04:25 · 1066 阅读 · 0 评论 -
Linux crontab 命令格式与详细例子
基本格式 :* * * * * command分 时 日 月 周 命令第1列表示分钟1~59 每分钟用*或者 */1表示第2列表示小时1~23(0表示0点)第3列表示日期1~31第4列表示月份1~12第5列标识号星期0~6(0表示星期天)第6列要运行的命令crontab文件的一些例子:30 21 * * * /usr/local/etc转载 2016-03-09 17:15:39 · 545 阅读 · 0 评论 -
sudo 自动输入密码的脚本 alias别名
【alias简介】alias 命令用于定义一个命令的简写格式,例如,alias lsproc='ls -l /proc',其中定义了一个新的命令lsproc,以后当输入lsproc的时候,都会执行ls -l proc,显示proc的目录内容为了使alias永久生效,可以将定义写在 ~/.bashrc 中vim ~/.bashrc添加:alias lsproc='ls -转载 2017-09-15 13:55:22 · 2944 阅读 · 0 评论 -
git统计操作
统计代码git提交的行数$ git log --author="$(git config --get user.name)" --pretty=tformat: --numstat | gawk '{ add += $1 ; subs += $2 ; loc += $1 - $2 } END { printf "added lines: %s removed lines : %s tota转载 2017-12-12 10:11:21 · 532 阅读 · 0 评论 -
ermission denied: user=root, access=WRITE, inode="hadoop":hadoop:supergroup:rwxr-xr-x
org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=WRITE, inode="hadoop":hadoop:supergroup:rwxr-xr-x原创 2014-11-14 23:19:54 · 8225 阅读 · 0 评论 -
MasterNotRunningException异常,list、get等不能正常执行
当在hbase shell下创建表时,出现MasterNotRunningException异常,list、get等不能正常执行,通过Java API同样不能创建表,究其原因在于分布式文件系统处于安全模式状态下,执行 hadoop dfsadmin -safemode leave,重新启动hbase,问题即可解决。 那么,问题又来了,Hadoop分布式文件系统为什么不自动退出安全模式呢?转载 2014-11-14 13:47:20 · 736 阅读 · 0 评论 -
hadoop2.X如何将namenode与SecondaryNameNode分开配置
本帖最后由 pig2 于 2014-6-17 19:54 编辑问题导读1.如何将namenode与SecondaryNameNode分开?2.SecondaryNameNode单独配置,需要修改那些配置文件?3.masters文件的作用是什么?我们这里假设你已经安装配置了hadoop2.2,至于如何配置可以参考,hadoop2.2完全分布式最转载 2014-11-14 22:24:35 · 11901 阅读 · 1 评论 -
HBase 在Ubuntu12.04下的安装 以及遇到问题解决
HBase安装 hadoop集群:hadoop1.1.2master 192.168.1.161slave01 192.168.1.163slave02 192.168.1.164slave03 192.168.1.165slave04 192.168.1.166 hbase版本: hbase0.94 1、修改hadoop hdfs-sit原创 2014-11-14 13:51:25 · 1216 阅读 · 0 评论 -
hbase做简单操作练习示例
package HBaseTests;import java.io.IOException;import java.util.ArrayList;import java.util.List; import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguratio原创 2014-11-14 23:48:56 · 714 阅读 · 0 评论 -
Ubuntu 自定义命令启动hadoop操作
我经常遇到在终端里需要打开当前文件目录,进行一些操作.使用下面的命令实现:colin@colin-p6615cn:~$ nautilus .但是感觉不是很方便,是否可以简短点.好用一点呢?当然可以.colin@colin-p6615cn:~$ cdcolin@colin-p6615cn:~$ gvim .bashrc在末尾添加如下内容:原创 2014-11-13 21:39:22 · 1861 阅读 · 0 评论 -
Zookeeper在Ubuntu12.04中的安装
一、安装需求安装java 1.7.25及hadoop 1.20.x 二、安装zookeeper1、下载zookeeperwget http://mirror.bit.edu.cn/apache//zookeeper/zookeeper-3.4.2/zookeeper-3.4.2.tar.gz(本次安装3.4.2版本)其他版本下载地址(最好使用stable版本):http:/原创 2014-11-14 00:43:56 · 685 阅读 · 0 评论 -
hive在Ubuntu下的的安装和配置以及与hbase进行连接
hive的安装和配置 downloadwget http://mirror.mel.bkb.net.au/pub/apache//hive/stable/只需要在一个节点上安装 2. 把Hive移动到/usr/local/hadoop目录下并解压hadoop@ubuntu:~/下载$ mv hive-0.9.0.tar.gz /usr/local/hadoophadoo原创 2014-11-14 14:17:39 · 997 阅读 · 0 评论 -
SolrCloud 4.7+Tomcat 安装配置实践
SolrCloud 4.7+Tomcat 安装配置实践 SolrCloud 4.3.1+Tomcat 7安装配置实践我们使用Solr Replication可以实现Solr服务器的可用性,即使某一个索引副本由于磁盘介质故障或者误操作删除等,其他的多个复制副本仍然可以提供服务。如果只是单纯的基于Solr Replication技术,只能对一个索引进行管理维护,当索引数据达到一定规模,搜索的性原创 2014-11-14 15:02:14 · 1363 阅读 · 0 评论 -
对于solrcloud节点删除后,依然在页面显示问题
因为在创建solrcloud的节点后,配置文件会传入Zookeeper中进行统一的原创 2014-11-14 15:19:50 · 3190 阅读 · 0 评论 -
hadoop安全模式
hadoop安全模式在分布式文件系统启动的时候,开始的时候会有安全模式,当分布式文件系统处于安全模式的情况下,文件系统中的内容不允许修改也不允许删除,直到安全模式结束。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性,同时根据策略必要的复制或者删除部分数据块。运行期通过命令也可以进入安全模式。在实践过程中,系统启动的时候去修改和删除文件也会有安全模式不允许修改的出错提示转载 2014-11-14 21:00:05 · 663 阅读 · 0 评论 -
Linux磁盘空间查看及空间满的处理
如果要查看磁盘还剩多少空间,当然是用df的命令了。 [root@localhost ~]# df -h 文件系统 容量 已用 可用 已用% 挂载点 /dev/sda2 14G 11G 2.6G 82% / /dev/sda1 99M 14M 81M 14% /boot tmpfs 442M 275M 168M 63% /dev/shm /dev/mapper/vg_test-...转载 2018-11-05 19:24:03 · 1891 阅读 · 0 评论