- 博客(14)
- 资源 (13)
- 收藏
- 关注
原创 Hadoop学习记录(三、MapReduce简单demo)
1.将一个日志文件上传到hdfs上2. 编写mapReduce代码2.1新建一个maven项目,添加依赖<dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hado...
2018-11-30 21:08:57 213
原创 Hadoop学习记录(二、hdfs shell命令)
在/usr/local/hadoop-2.9.2/bin目录下运行命令1.查看根目录:./hdfs dfs -ls /2.文件上传:上传到根目录./hdfs dfs -put /tmp/test.txt / 3.查看文件内容./hdfs dfs -cat /test.txt 4.新建文件夹./hdfs dfs -mkdir /test5...
2018-11-30 18:49:32 149
原创 Hadoop学习记录(一、Hadoop集群的搭建)
参考:http://www.zuidemo.com/filePreview/pdfFilePreview/11202并进行补充参考:https://blog.csdn.net/wuapeng/article/details/797921611.新建七个centos7系统的虚拟机,分别命名为cluster1,cluster2等。关闭防火墙。2.七台主机都修改host文件vi /et...
2018-11-30 10:34:16 150
原创 深入理解jvm(四、虚拟机性能监控与故障处理工具)
一、命令行工具1.1 jps:虚拟机进程状况工具 1.2 jstat:虚拟机统计信息监视工具假设每250ms查询一次进程2764垃圾收集状况,一共查询20次。jstat -gc 2764 250 20例: S0:幸存1区当前使用比例 S1:幸存2区当前使用比例 E:伊甸园区使用比例 O:老年代使用比例 M:元数据区使用比例 CCS:压缩使用比例 Y...
2018-11-27 14:12:55 101
原创 深入理解jvm(二、常用的垃圾收集器)
1.Serial单线程收集器,它在进行垃圾收集时必须暂停其他工作线程,直到收集结束。是虚拟机运行在客户端下的默认新生代收集器。相对于其他收集器的单线程来说,简单高效。2.ParNew相当于Serial收集器的多线程版本,一般是运行在服务端的虚拟机首选的新生代收集器。 3. Parallel ScavengeParallel Scavenge是一个使用复制算法的新生代收集器。...
2018-11-27 10:07:54 103
原创 深入理解jvm(三、常用的垃圾收集规则)
1.对象优先在Eden分配Eden Space字面意思是伊甸园,对象被创建的时候首先放到这个区域,进行垃圾回收后,不能被回收的对象被放入到空的survivor区域。Survivor Space幸存者区,用于保存在eden space内存区域中经过垃圾回收后没有被回收的对象。Survivor有两个,分别为To Survivor、 From Survivor,这个两个区域的空间大小是一样的。执...
2018-11-26 21:50:57 154
原创 深入理解jvm(一、ubuntu16编译openjdk8)
1.安装Bootstrap JDK直接运行命令:sudo apt-get install openjdk-7-jresudo apt-get install openjdk-7-jdk如果出现“没有可用的软件包 openjdk-7-jdk,但是它被其它的软件包引用了。这可能意味着这个缺失的软件包可能已被废弃, 或者只能在其他发布源中找到,E: 软件包 openjdk-7-jdk 没...
2018-11-23 13:22:51 560
原创 Zookeeper学习(二、zookeeper命令操作)
1.zookeeper的四字命令[root@hadoop ~]# zkServer.sh start zoo1.cfgJMX enabled by defaultUsing config: /usr/local/zk/bin/../conf/zoo1.cfgStarting zookeeper ... STARTED[root@hadoop ~]# zkServer.sh st...
2018-11-22 10:53:28 160
原创 Zookeeper学习(一、Linux搭建zookeeper)
1.zookeeper单机搭建下载:wget http://mirrors.shu.edu.cn/apache/zookeeper/stable/zookeeper-3.4.12.tar.gz 解压:tar -zxvf zookeeper-3.4.12.tar.gz 配置文件:在conf目录下删除zoo_sample.cfg文件,创建一个配置文件zoo.cfgtickTime=2000...
2018-11-21 19:27:00 150
原创 linux指令(四、vi程式编辑)
vi filename进入一个档案内 i,o,a指令进入编辑模式,Esc退出编辑模式 :wq存档离开第一部份:一般指令模式可用的按钮说明,游标移动、复制贴上、搜寻取代等移动游标的方法 h 或向左方向键(←) 游标向左移动一个字元 j 或向下方向键(↓) 游标向下移动一个字元 k 或向上方向键(↑) 游标向上移动一个字元 l 或向右方向键(→) 游标向...
2018-11-21 13:48:34 119
原创 linux指令(三、压缩常用指令)
gzip [-cdtv#]档名 :在预设的状态下原本的档案会被压缩成为.gz的档名,原始档案就不再存在了选项与参数:-c :将压缩的资料输出到萤幕上,可透过资料流重导向来处理;-d :解压缩的参数;-t :可以用来检验一个压缩档的一致性~看看档案有无错误;-v :可以显示出原档案/压缩档案的压缩比等资讯;-# :# 为数字的意思,代表压缩等级,-1 最快,但是压缩比最差、-9 最慢,...
2018-11-21 10:30:03 106
原创 linux指令(二、目录与文档常用指令)
1.对目录的相关操作在所有目录底下都会存在的两个目录,分别是『.』与『..』 分别代表此层与上层目录的意思。. 代表此层目录.. 代表上一层目录- 代表前一个工作目录~ 代表『目前使用者身份』所在的家目录~account 代表account 这个使用者的家目录(account是个帐号名称)cd:变换目录 pwd:显示目前的目录 mkdir:建立一个新的目录 rmdir:...
2018-11-20 17:20:19 84
原创 linux指令(一、目录与档案)
一、文档与目录1.Linux档案属性第一个字元代表这个档案是『目录、档案或连结档等等』: 当为[ d ]则是目录; 当为[ - ]则是档案; 若是[ l ]则表示为连结档(link file); 若是[ b ]则表示为装置档里面的可供储存的周边设备(可随机存取装置); 若是[ c ]则表示为装置档里面的序列埠设备,例如键盘、滑鼠(一次性读取装置)。 接下来...
2018-11-19 16:55:25 117
原创 搜索引擎对模糊查询的作用
两百万条数据比对1.未使用搜索引擎全表查询:bname LIKE CONCAT ('%', #{bname},'%')2. mysql搜索引擎应用场景InnoDB:是事务型数据库的首选引擎,支持事务安全表(ACID),支持行锁定和外键,InnoDB是默认的MySQL引擎。 MyISAM引擎:数据表主要用来插入和查询记录,读操作明显多于写操作,存储量较大,但不支持事物。 M...
2018-11-05 15:47:56 2300
win10 下spark2.2.0+hadoop2.7.7+winutis 2
2019-03-26
win10 下spark2.2.0+hadoop2.7.7+winutis 1
2019-03-26
智慧交通实战项目源码2 分卷2
2019-01-14
智慧交通实战项目源码1 分卷1
2019-01-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人