linux相关
a2615381
这个作者很懒,什么都没留下…
展开
-
hbase 导入导出/数据迁移
公司遇到一个情况。从集群A吧hbase数据拷贝到 集群B 其中A和B无法通信, 只能通过工作机器 单连。使用的方式是 在A集群 的 hdfs上吧数据拷贝下来数据导出导入hadoop fs -get src hdfs/file //获得集群A地址中 hdfs上 hbase表的位置hadoop fs -put src hdfs/file //吧表数据提交到集群B原创 2017-09-27 15:26:44 · 4438 阅读 · 1 评论 -
hbase Doing distributed log split in 问题
有时候重启 hbase会发现大片绿色画面。虽然以前偶尔遇到过 但是没注意 这次特意观察了一下, 后来发现时 wal数据恢复机制Log Split(日志拆分)HBase为了提高写的性能,将数据的修改先放到memstore内存中,这样做的缺陷是当某个region server崩溃时,其memstore中的所有修改将会丢失,因为它们还没有被刷写到磁盘上。为了防止这情况造成的数据丢原创 2017-09-26 11:45:51 · 1182 阅读 · 0 评论 -
redis总结
几种数据模式rdb 和aof持久化rdb 通过配置文件设置备份时间 全量 阻塞模式和起一个线程的非阻塞模式aof 增量落地,记录的是操作步骤, 3种模式,来一条落地一次,1秒落地一次,不主动落地, 有操作系统决定落地时间设置aof文件大小,可以触发重写机制主从模式, 主可以读也可以来写,从用来读 1主多从 从会复制主的数据哨兵模式 主挂了 把从变成原创 2017-09-17 22:50:08 · 211 阅读 · 0 评论 -
zookeeper总结
1. zookeeper的作用配置中心分布式锁(和我遇到的分布式锁的区别)统一命名服务。和JNDI类似分布式系统的故障修复。由master监控集群中服务器状态。当有服务器挂掉时通知其他服务器重新分配不同节点的计算任务。master挂掉会新一轮重新选举master。2. 特点精简的文件系统。管理小文件。hadoop是大型文件系统。采用观察者设计模式3.原创 2017-09-17 22:47:49 · 225 阅读 · 0 评论 -
安装 HA-hadoop教程,关键流程
1 安装虚拟机1.1 修改主机名以及hostsvi /etc/sysconfig/networkvi /etc/hosts 1.2 修改IP 图形化修改。 保证可以ping通主机,外网 1.3 关闭防火墙 1.4 ssh免登陆设置, 在 hadoop用户名下使用 1 ssh-keygen -t rsa 生成文件2 ssh-copy-i原创 2017-02-05 22:53:24 · 432 阅读 · 0 评论 -
Spark Streaming 入门教程
工具 intelliJ IDE工具,和 spark 包,还有 linun服务器首先 intelliJ IDE 新建一个项目导入 spark的jar包使用的是 spark-1.4.0-bin-hadoop2.4.tgz 解压后得到spark-1.4.0-bin-hadoop2\spark-1.4.0-bin-hadoop2.4\lib 文件然后将 lib下的文件全部导入到项目中去原创 2017-06-12 00:07:48 · 1241 阅读 · 0 评论 -
bringing up interface eth0: error no suitable device found
虚拟机克隆的时候出现的问题,会因为复制了网卡信息导致这个情况,具体处理方式如下解决办法:首先,打开/etc/udev/rules.d/70-persistent-net.rules内容如下面例子所示:# This file was automatically generated by the /lib/udev/write_net_rules# program,原创 2017-02-02 17:12:34 · 4310 阅读 · 0 评论 -
linux挂载硬盘重启后出现an error occurred during the file system check错误最有效的解决办法
本来是磁盘不够用,新增磁盘的,结果出现问题,找了许久解决了,利用『 mount -n -o remount,rw / 』重新挂载根目录, 这之后就把刚才错误的地方修改一下,注意,这个时候fstab就可以读写了。那么,所有的问题也就可以迎刃而解了。只需要将挂载语句删除,再:wq保存退出,最后reboot重新载入系统,就可以解决问题了第一步:创建分区原创 2016-10-19 15:16:28 · 2061 阅读 · 0 评论 -
vm linux克隆IP配置问题
http://www.th7.cn/system/lin/201407/64402.shtml1、用vmware克隆一个centos2、进入centos,打开命令行输入ifconfig,执行后发现没有eth03、执行网卡启动命令ifconfig eth0 up,再执行ifconfig4、配置固定ip,执转载 2016-06-19 13:24:34 · 1477 阅读 · 0 评论 -
Hbase入门API操作和 shell操作
package cn.itcast.bigdata.hbase;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.HColumnDesc原创 2016-04-25 15:27:03 · 1370 阅读 · 0 评论 -
Hbase新手技术入门
HBase是什么?HBase是Apache Hadoop中的一个子项目,Hbase依托于Hadoop的HDFS作为最基本存储基础单元,通过使用hadoop的DFS工具就可以看到这些这些数据 存储文件夹的结构,还可以通过Map/Reduce的框架(算法)对HBase进行操作,如右侧的图所示:为什么采用HBase?HBase 不同于一般的关系数据库,它是一个适合原创 2016-05-04 15:41:18 · 4732 阅读 · 0 评论 -
windows下JAVA开发操作hadoop的方法
先说一下具体情况,hadoop版本2.4X 本地使用的 eclipse 开发,操作虚拟机中的hadoop系统package cn.itcast.hadoop.hdfs;import java.io.IOException;import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.ap原创 2016-04-05 14:40:26 · 1039 阅读 · 0 评论 -
hadoop本地调试模式,测试 mapreducer
这次使用的是 win下开发 MR代码,可以进行debug模式进行调试,当没有问题的时候,可以修改一下源文件名 ,然后上传到linux运行基本数据dept文件内容:10,ACCOUNTING,NEW YORK20,RESEARCH,DALLAS30,SALES,CHICAGO40,OPERATIONS,BOSTON emp文件内容:7369,SMITH,CL原创 2016-04-05 15:05:04 · 4261 阅读 · 0 评论 -
CentOS5.4字符安装
使用的是VM 虚拟机,一切准备好以后 开始启动1.首先是这个画面,输入 linux text 回车,既可以进入字符安装模式一直等待 跑动完成2,是否检查 磁盘介质, 选择不3,选择语言“英语”4,选择键盘模式 美式键盘5,这是一个警告,原分区表不可用,需要初始化数据,因为是虚拟机安装,所以选择 yes6,分区布局1:删除当原创 2015-04-19 14:58:52 · 494 阅读 · 0 评论 -
linux常用命令(补充中)
记录常用的linxu命令,会慢慢补充 1.touch 文件名 新建一个文件 2.mkdir 文件名 新建一个文件夹 3.ll -li 目录地址 查看 文件的详细信息,包括文件索引节点 4.chown -R 属主.属组 文件名 设置该文件 所属主.属组 ,-R为递归文件之下的文件夹 5.chmod 权限 文件名 设置该文件的操作权限 6.mv 源文件名 目标文件名原创 2015-04-28 00:16:36 · 388 阅读 · 0 评论 -
linux下VI编辑器常用指令
也是从一位老师那里看来的。还有自己找到的一些补充内容,首先介绍VI和VIM的区别 在阿铭看来vi 和vim最大的区别就是编辑一个文本时,vi不会显示颜色,而vim会显示颜色。显示颜色更易于用户进行编辑。其他功能没有什么区别。所以在linux系统下,使用vi还是vim完全取决您的个人爱好而已。 您刚刚安装的CentOS系统上没有这个命令,请这样安装它 yum install -y vim-enha原创 2015-05-27 21:25:22 · 504 阅读 · 0 评论 -
VM虚拟机CentOS系统图形化配置IP
个人经验,说错的地方还请指出问题 ,多谢。 首先使用的是 VM 虚拟机 使用的是 “桥接模式”, 点击此处 进行网络配置 然后选择 该选项 查看 主机的 IP信息 记住几个关键信息 (参考你本地的信息) 1,主机 ip 比如是 192.168.111.5 2,默认网关 为 192.168.111.1 3,DNS服务器地址为 192.168.111.1 在原创 2015-04-26 23:52:57 · 1854 阅读 · 0 评论 -
linux增加新的磁盘空间 采用lvm方式
本人用虚拟机搭建 大数据开发环境,后来数据量上去了 发现磁盘不够用,折腾了一下新增磁盘的方法,一开始总是不对,后来知道了一个lvm的方法,很方便好用。特此记录下来1查看目前磁盘分区情况,系统是安装在一块45G的虚拟磁盘上。安装系统时采用了LVM分区方式。其中/soft空间大小为11G 2 查看目前虚拟机的磁盘情况,目前虚拟机中有两块硬盘,/dev/sda 45G,/dev/原创 2017-10-04 19:04:46 · 1096 阅读 · 0 评论