2017年10月_IT农夫

10月 06月 05月 04月

转载 Linux(CentOS)下设置nginx开机自动启动和chkconfig管理

linux下安装后，如何设置开机自启动

2017-10-23 10:34:26 1462

原创 nginx反向代理时通过rewrite解决后端资源css/js/img 写了绝对路径的问题

nginx反向代理时通过rewrite解决后端资源css/js/img 写了绝对路径的问题

2017-10-22 22:21:33 13709

原创 nginx 反向代理设置中的proxy_redirect

当用nginx做反向代理将客户端浏览器请求转发到后端应用服务器上的时候，如果有协议和url转换的时候，当后端服务器做302、301跳转的时候,需要用proxy_redirect将后端设置在response header中的Location做转换.比如后端应用Java:LOG.debug("sendRedirect host in header " + req.getHeader("Host"));

2017-10-22 19:33:09 22064

原创 Linux 创建用户的同时设置密码

Linux 创建用户的同时设置密码:useradd userxx;echo "passwdxxx" | passwd --stdin userxx

2017-10-09 13:27:09 8801

转载 Java中IO流体系

转载: https://mp.weixin.qq.com/s?__biz=MzA5NzgzODI5NA==&mid=2454030958&idx=1&sn=df27aadb92e575e96115ec809506245a&chksm=872b9fd7b05c16c10f265b495b7204b843f6825771292b30a9124f6d32367d2d9485493316ea&scene=

2017-10-08 20:37:41 1911

转载 Hadoop 2.6 日志文件和MapReduce的log文件

Hadoop 2.6包含两个大部分：DFS和Yarn，而Yarn里面又包含在Resource Manager的JVM中运行的部分和在Node Manager里面运行的JVM部分。所以整个系统（不考虑加装ZooKeeper的HA的情况）的log是分别放在3个log里面的。1. 对于DFS的log，在Name Node和Data Node里面，默认可以在${HADOOP_INSTALL}/logs里面

2017-10-07 14:39:28 1492

转载 DT大数据梦工厂视频资源

DT大数据梦工厂视频资源:1，《大数据不眠夜：Spark内核天机解密（共140讲）》： 51CTO在线观看（支持手机、平板、PC）: http://edu.51cto.com/course/course_id-4703.html 百度云下载: http://pan.baidu.com/s/1eQsHZAq 2，《Hadoop深入浅出实战经典》http://pan.bai

2017-10-07 12:06:55 2846 2

转载 hdfs rack机架感知配置

HDFS不能够自动判断集群中各个datanode的网络拓扑情况。这种机架感知需要topology.script.file.name属性定义的可执行文件（或者脚本）来实现，文件提供了IP->rackid的翻译。NameNode通过这个得到集群中各个datanode机器的rackid。如果topology.script.file.name没有设定，则每个IP都会翻译成/default-rack。下

2017-10-03 19:12:00 2036

转载 HDFS读文件过程分析：读取文件的Block数据

我们可以从java.io.InputStream类中看到，抽象出一个read方法，用来读取已经打开的InputStream实例中的字节，每次调用read方法，会读取一个字节数据，该方法抽象定义，如下所示： public abstract int read() throws IOException; 　　Hadoop的DFSClient.DFSInputStream类实现了该抽象逻辑，如果我们清楚了

2017-10-03 18:26:00 1724 1