自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 浏览器监控hadoop任务进度

之前设置hdfs-site.xml里端口,可以供web来监控hdfs,监控任务的需要在yarn-site.xml里配置。在yarn-site.xml加上如下配置: yarn.resourcemanager.webapp.address 0.0.0.0:8088 ...

2017-11-07 17:53:39

阅读数 1436

评论数 0

原创 Hadoop伪分布式配置总结

踩了些坑,目前Hadoop伪分布式可以正常运行,四个配置文件core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml目前配置为下: core-site.xml hadoop.tmp.dir ...

2017-11-06 10:15:33

阅读数 160

评论数 0

原创 hadoop伪分布式试运行

伪分布式读取的是HDFS上的数据,要使用HDFS,首先在HDFS中创建用户目录: hdfs dfs -mkdir -p /user/hadoop   接着可以将本地文件作为输入文件复制到HDFS中,比如将hadoop的配置xml文件复制到HDFS的/user/hadoop/input中...

2017-11-03 21:57:37

阅读数 387

评论数 0

原创 hadoop伪分布式DataNode无法启动

start-dfs.sh一直启动不了DataNode,仔细检查了几遍配置文件都没有发现什么问题,有format了好几次也不行。看DataNode的日志发现这个: java.io.IOException: Incompatible clusterIDs in /usr/local/hadoop...

2017-11-03 14:57:16

阅读数 440

评论数 0

原创 Hadoop伪分布式配置

具体配置可以参考hadoop官网,有详细各参数配置详情及说明,在doc里   本文主要是记录我使用到的配置,以后每使用到新的配置会持续更新。 1、core-site.xml   core-site.xml是全局配置,hdfs-site.xml和mapred-site.xml分别是hdfs和map...

2017-11-02 17:19:37

阅读数 157

评论数 0

原创 linux vim取消高亮显示

linux vim取消高亮显示: :nohl即可

2017-11-02 15:42:51

阅读数 3888

评论数 0

原创 linux查看外网ip

linux查看外网ip curl ifconfig.me 或者显示所有细节 curl ifconfig.me/all 也开始以xml格式输出 curl ifconfig.me/all.xml

2017-11-01 16:34:39

阅读数 104

评论数 0

原创 Mac上MarkDown添加代码块

也是惭愧,每次写一些文档之类的都会觉得很麻烦、效率很低。 无意中发现Markdown,终于解放了我 Markdown添加代码块的方法: 1、可以缩进4个空格,Markdown会把每行前空4格的文本转换为代码块,不过这样代码块里的格式还得做些调整,不是很好看。 2、使用反引号(就是esc下面...

2017-11-01 16:23:06

阅读数 5426

评论数 1

原创 hadoop踩坑记2--伪分布式部署

第一次安装的时候,不太懂,直接下好装上就开始试着测试。 碰到了大概是这样的Unable to load native-hadoop library for your platform报错吧,查到了是因为直接下的是32位的,系统是64位的,64位的hadoop需要自己编译。 自己编译好64位的后...

2017-11-01 15:50:41

阅读数 83

评论数 0

原创 hadoop踩坑记1-编译部署

环境:CentOS 7.3 64位(64位的hadoop需要自己编译) 1、创建新用户   useradd -m hadoop -s /bin/bash                  创建hadoop用户并使用/bin/bash作为shell   passwd hadoop       ...

2017-11-01 15:40:19

阅读数 139

评论数 0

原创 mac安装git

安装好以后,生成密匙: ssh-keygen -t rsa

2017-06-15 17:07:28

阅读数 306

评论数 0

原创 qq,微信截图隐藏对话框

小化对话框,command+ctrl+a,截图

2017-05-16 17:27:07

阅读数 1138

评论数 0

原创 SimpleDateFormat使用,有时区的格式

String time = "2017-05-09T09:25:00.000+0000";  有时区的时间,格式是yyyy-MM-dd'T'HH:mm:ss.SSSZ SimpleDateFormat sdf = new SimpleDateFormat("...

2017-05-16 15:24:34

阅读数 2379

评论数 0

原创 Mac快捷键总结

1、shift+command+g :在finder下可以输入路径前往文件夹,比如可以去隐藏的.m2文件夹等。

2017-05-10 11:16:54

阅读数 85

评论数 0

原创 idea快捷键

调出toString get set override等方法快捷键:ctrl+enter

2017-05-09 11:32:34

阅读数 114

评论数 0

原创 Mac上pretty json使用

格式化json快捷键:command+control+j

2017-05-07 10:53:06

阅读数 3917

评论数 0

原创 设计模式---单例模式

单例模式是一个系统中,确保某个类只有一个实例,而且自行实例化并向整个系统提供这个实例。 一般用在资源池的使用,如数据库连接池、缓存、日志对象、对话框、打印机、显卡驱动等程序通常被设计为单例。这些应用都或多或少具有资源管理器的功能。 单例模式的特点: 1、单例类只能有一个实例。 2、单例类必...

2016-11-25 16:38:57

阅读数 79

评论数 0

原创 设计模式---工厂模式

了解了程序设计原则,设计模式就是对设计原则更具体的使用。 我理解的工厂模式其实就是对面向接口编程(依赖倒转原则),最少知道原则等设计原则的使用。 比如设计一个发信息的功能,首先简历一个信息的接口,有邮件、短信、微信等等的实现类。 如果不使用工厂模式,我们在客户端或者高层的实现类里,要判断具体发什么...

2016-11-25 11:15:45

阅读数 116

评论数 0

转载 设计模式六大原则

基本转自 http://www.uml.org.cn/sjms/201211023.asp 总原则:低耦合,高聚合。 1、单一职责原则。 2、里氏替换原则。 3、依赖倒置原则。 4、接口隔离原则。 5、迪米特法则。 6、开闭原则。       1、单一职责原则:通俗...

2016-11-24 14:38:15

阅读数 91

评论数 0

原创 面向对象思想

Java是一门面向对象的编程语言,很多习惯了面向过程编程,理解不了面向对象的思想。 通常我们在拿到一个需求的时候,第一个反应是如何实现这个需求,这是典型的面向过程的思维过程,并且可以很快地实现这个需求。 而!面向对象,面向的是对象,第一反应不是如何实现,而是需求分析找出需要的对...

2016-11-24 14:05:04

阅读数 129

评论数 0

提示
确定要删除当前文章?
取消 删除