yumiao13-CSDN博客

原创 logstash传输文本文件到HDFS

说明1、这次主要是记录一下，前几天实现logstash传输文本信息到HDFS时，遇到的一个问题的解决办法，因为自己对logstash还不是很熟悉，所以当时折腾了很久，虽然发现解决方案很简单。 2、logstash有一个第三方插件：webhdfs遇到的问题logstash添加的字段与message之间的分隔符与message内部的分隔符不一致问题描述我的需求是，将以“，”分隔的文本文件通过logst

2017-05-20 17:18:11 9552 2

原创 Intellij IDEA远程向hadoop集群提交mapreduce作业

说明1、本地环境：win7（64位）、Intellij IDEA2016.3.5 2、集群环境：虚拟机系统centos6.5、hadoop2.6.0 intellij idea远程提交MR作业配置

2017-04-11 10:50:29 16779 6

原创搭建配置ELK stack分布式版环境

一：说明1、关于机器环境：（1）这几台机器都是虚拟机，它们的联网方式都是NAT。（2）这几台机器机器均已安装了java1.8，（3）slave1和slave2已经修改过/etc/sysconfig/network文件中的主机名和/etc/hosts文件中的主机与IP地址映射的。（4）已经可以ssh无密访问。关于如何设置ssh无密访问，可以参看我的另一篇文章：http://blog.cs

2017-04-01 14:50:12 1114 1

原创 SSL设置免密登录

一：SSL基本介绍ssh是secure shell的缩写，是建立在应用层和传输层基础上的安全协议，专为远程登录会话和其他网络服务提供安全性的协议。利用ssh协议可以有效地防止远程管理过程中的信息泄露问题。使用ssh之后，可以把所有传输的数据加密，避免中间人攻击，也能够繁殖DNS欺骗和ip欺骗，有个额外的好处是传输的数据是经过压缩的，可以加快传输速度。

2017-04-01 14:16:49 3358

原创安装搭建ELK环境-单机版

说明ubuntu 14.04、java 1.8、已经安装了java环境。主要参考http://shmilyaw-hotmail-com.iteye.com/blog/2187529。本文只对自己在安装过程中发现的一些问题和疑惑做记录，具体步骤可以参看该网页。安装配置1、安装配置elasticsearch 在此过程中，该网页中的下载安装步骤都没有问题，但是在配置elasticsearc

2017-03-29 21:05:37 2640

原创大数据平台搭建之scala

说明环境：jdk1.8.0_65、hadoop-2.6.0、zookeeper3.4.6、hbase1.1.2、spark1.6.0、scala2.10.5完全分布式安装，共三个节点：master、slave1、slave2主要采取的方式是先在master上安装配置，然后再拷贝到其他主机。参考：http://www.itnose.net/detail/6249310.html安装配置

2017-03-18 10:31:30 487

原创大数据平台搭建之hive

参看网页http://dblab.xmu.edu.cn/blog/hive-in-practice/进行搭建。本文只是针对自己在参考该网页进行安装配置时出现的一些问题进行改正说明。问题说明需要开启hadoop后才可以运行hive命令，不然会提示无法连接到hadoop。配置时，使用mysql存储元数据的方式，在配置hive-site.xml文件时，在原来的网页配置中有几个小问题。

2017-03-18 10:19:37 1191

原创大数据平台搭建之HBase

说明环境：hadoop2.6.0 、 zookeeper 3.4.6、hbase 1.1.2完全分布式安装采取的是先安装配置master，然后再拷贝文件到slave上的方式。参考网页http://blog.csdn.net/zwx19921215/article/details/41820199安装配置

2017-03-16 19:45:53 352

原创大数据平台搭建之zookeeper

大数据平台搭建之zookeeper一：说明1、环境：hadoop 2.6.0 、zookeeper 3.4.62、完全分布式，共有3个节点：master、slave1、slave23、采用的方式是先配置master，然后再将zookeeper文件拷贝到其他slave中的方式。安装配置过程1、下载需要安装的压缩包：http://www.apache.org/dyn/closer.cgi/zookeep

2017-03-15 19:42:50 578

原创 2015-1-17完成任务

时间：从上午10点30到19:30=9内容： 1:在昨天nginx出现了众多问题，在我重新安装多次后，出现了更严重的问题，而且无法解决和解释。 2:无奈之下，又将ubuntu卸载，然后重新搭建lnmp环境。主要参考了师哥的一篇文章：http://blog.csdn.net/Jeanphorn/article/details/4

2015-01-17 21:27:23 400

原创 2015-1-16完成任务

时间：上午2个小时，下午4个小时，晚上3.5个小时=9.6

2015-01-17 21:14:54 403

转载 Python问题-IndentationError: expected an indented block

python语句在编译时遇到问题------IndentationError: expected an indented block在网上查找之后，发现原来是缩进的问题，没有想到python对缩进如此敏感，每个冒号的下一行都要缩进。具体请参见http://blog.csdn.net/neilhappy/article/details/7724959

2015-01-16 10:28:08 386

原创 2015-1-15任务

时间：1.5小时内容：廖雪峰官方网站学习python的基本知识，看到了数据类型和变量的部分。评语：时间较短，继续加油！！！

2015-01-16 10:17:00 520

原创 python学习遇到问题

在python的学习中遇到一个问题，当使用print函数时，无论是否使用了r'',只要最后是以奇数个”\“结尾，会显示”SyntaxError: EOL while scanning string literal“错误。也没有什么解决办法吧，但是查到了可以避免这种情况发生的文章，链接在此，以便以后查找http://www.crifan.com/resolved_python_last_ch

2015-01-16 10:02:43 390

原创 2015-1-14任务

1:完善开发环境的搭建。2:完善毕设开题报告。3:了解自己具体要怎样在开发环境下开发扩展。4:学习完Python的基本知识，并自己尝试完成简单的程序的编写。

2015-01-14 14:23:09 357

原创 2015-1-13完成的任务

1:安装好虚拟机，并且安装了ubuntu。2:安装了sqlmap。3:搭建了LNMP开发环境。

2015-01-14 14:19:30 376

转载毕设（基于js的firefox的web安全评测系统）----给火狐浏览器安装自己做的扩展插件

http://jingyan.baidu.com/article/7e440953e8de7a2fc1e2ef4f.html百度经验上的链接

2014-12-07 14:18:51 1215

u011654631的专栏