2018年11月_在知识的海洋中遨游

12月 11月 10月 09月 08月 07月 05月 04月

原创 Hadoop学习记录（三、MapReduce简单demo）

1.将一个日志文件上传到hdfs上2. 编写mapReduce代码2.1新建一个maven项目，添加依赖<dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hado...

2018-11-30 21:08:57 213

原创 Hadoop学习记录（二、hdfs shell命令）

在/usr/local/hadoop-2.9.2/bin目录下运行命令1.查看根目录：./hdfs dfs -ls /2.文件上传：上传到根目录./hdfs dfs -put /tmp/test.txt / 3.查看文件内容./hdfs dfs -cat /test.txt 4.新建文件夹./hdfs dfs -mkdir /test5...

2018-11-30 18:49:32 149

原创 Hadoop学习记录（一、Hadoop集群的搭建）

参考：http://www.zuidemo.com/filePreview/pdfFilePreview/11202并进行补充参考：https://blog.csdn.net/wuapeng/article/details/797921611.新建七个centos7系统的虚拟机，分别命名为cluster1,cluster2等。关闭防火墙。2.七台主机都修改host文件vi /et...

2018-11-30 10:34:16 150

原创深入理解jvm（四、虚拟机性能监控与故障处理工具）

一、命令行工具1.1 jps：虚拟机进程状况工具 1.2 jstat：虚拟机统计信息监视工具假设每250ms查询一次进程2764垃圾收集状况，一共查询20次。jstat -gc 2764 250 20例： S0：幸存1区当前使用比例 S1：幸存2区当前使用比例 E：伊甸园区使用比例 O：老年代使用比例 M：元数据区使用比例 CCS：压缩使用比例 Y...

2018-11-27 14:12:55 101

原创深入理解jvm（二、常用的垃圾收集器）

1.Serial单线程收集器，它在进行垃圾收集时必须暂停其他工作线程，直到收集结束。是虚拟机运行在客户端下的默认新生代收集器。相对于其他收集器的单线程来说，简单高效。2.ParNew相当于Serial收集器的多线程版本，一般是运行在服务端的虚拟机首选的新生代收集器。 3. Parallel ScavengeParallel Scavenge是一个使用复制算法的新生代收集器。...

2018-11-27 10:07:54 103

原创深入理解jvm（三、常用的垃圾收集规则）

1.对象优先在Eden分配Eden Space字面意思是伊甸园，对象被创建的时候首先放到这个区域，进行垃圾回收后，不能被回收的对象被放入到空的survivor区域。Survivor Space幸存者区，用于保存在eden space内存区域中经过垃圾回收后没有被回收的对象。Survivor有两个，分别为To Survivor、 From Survivor，这个两个区域的空间大小是一样的。执...

2018-11-26 21:50:57 154

原创深入理解jvm（一、ubuntu16编译openjdk8）

1.安装Bootstrap JDK直接运行命令：sudo apt-get install openjdk-7-jresudo apt-get install openjdk-7-jdk如果出现“没有可用的软件包 openjdk-7-jdk，但是它被其它的软件包引用了。这可能意味着这个缺失的软件包可能已被废弃，或者只能在其他发布源中找到，E: 软件包 openjdk-7-jdk 没...

2018-11-23 13:22:51 560

原创 Zookeeper学习（二、zookeeper命令操作）

1.zookeeper的四字命令[root@hadoop ~]# zkServer.sh start zoo1.cfgJMX enabled by defaultUsing config: /usr/local/zk/bin/../conf/zoo1.cfgStarting zookeeper ... STARTED[root@hadoop ~]# zkServer.sh st...

2018-11-22 10:53:28 160

原创 Zookeeper学习（一、Linux搭建zookeeper）

1.zookeeper单机搭建下载：wget http://mirrors.shu.edu.cn/apache/zookeeper/stable/zookeeper-3.4.12.tar.gz 解压：tar -zxvf zookeeper-3.4.12.tar.gz 配置文件：在conf目录下删除zoo_sample.cfg文件，创建一个配置文件zoo.cfgtickTime=2000...

2018-11-21 19:27:00 150

原创 linux指令（四、vi程式编辑）

vi filename进入一个档案内 i,o,a指令进入编辑模式，Esc退出编辑模式 :wq存档离开第一部份：一般指令模式可用的按钮说明，游标移动、复制贴上、搜寻取代等移动游标的方法 h 或向左方向键(←) 游标向左移动一个字元 j 或向下方向键(↓) 游标向下移动一个字元 k 或向上方向键(↑) 游标向上移动一个字元 l 或向右方向键(→) 游标向...

2018-11-21 13:48:34 119

原创 linux指令（三、压缩常用指令）

gzip [-cdtv#]档名 :在预设的状态下原本的档案会被压缩成为.gz的档名，原始档案就不再存在了选项与参数：-c ：将压缩的资料输出到萤幕上，可透过资料流重导向来处理；-d ：解压缩的参数；-t ：可以用来检验一个压缩档的一致性～看看档案有无错误；-v ：可以显示出原档案/压缩档案的压缩比等资讯；-# ：# 为数字的意思，代表压缩等级，-1 最快，但是压缩比最差、-9 最慢，...

2018-11-21 10:30:03 106

原创 linux指令（二、目录与文档常用指令）

1.对目录的相关操作在所有目录底下都会存在的两个目录，分别是『.』与『..』分别代表此层与上层目录的意思。. 代表此层目录.. 代表上一层目录- 代表前一个工作目录~ 代表『目前使用者身份』所在的家目录~account 代表account 这个使用者的家目录(account是个帐号名称)cd：变换目录 pwd：显示目前的目录 mkdir：建立一个新的目录 rmdir：...

2018-11-20 17:20:19 84

原创 linux指令（一、目录与档案）

一、文档与目录1.Linux档案属性第一个字元代表这个档案是『目录、档案或连结档等等』：当为[ d ]则是目录；当为[ - ]则是档案；若是[ l ]则表示为连结档(link file)；若是[ b ]则表示为装置档里面的可供储存的周边设备(可随机存取装置)；若是[ c ]则表示为装置档里面的序列埠设备，例如键盘、滑鼠(一次性读取装置)。接下来...

2018-11-19 16:55:25 117

原创搜索引擎对模糊查询的作用

两百万条数据比对1.未使用搜索引擎全表查询：bname LIKE CONCAT ('%', #{bname},'%')2. mysql搜索引擎应用场景InnoDB：是事务型数据库的首选引擎，支持事务安全表（ACID），支持行锁定和外键，InnoDB是默认的MySQL引擎。 MyISAM引擎：数据表主要用来插入和查询记录，读操作明显多于写操作，存储量较大，但不支持事物。 M...

2018-11-05 15:47:56 2300