- 博客(36)
- 资源 (35)
- 收藏
- 关注
RSS订阅转载 ElasticSearch学习20_Lucene4基础概念-Elasticsearch深入
学习Lucene是为了更深入搜索，学习Lucene4是为了弄懂ES中没有解释的疑问，等看完Lucene，才发现，搜索的核心原来都是Lucene，Elasticsearch只不过是包在Lucene外面的一层皮。 Lucene是一个搜索引擎包，它并非一个像tomcat一样的产品。它衍生出了solr和elasticsearch。当然，我学习的是后者。solr是apache孵化的一个搜索引
2016-11-30 18:48:16
593
翻译 Apache Metron Meetup May 4, 2016 - Big data cybersecurity
原文来自：http://slideshare.neatcn.com/hortonworks/apache-metron-meetup-may-4-2016-big-data-cybersecurity需要了解更多信息，请访问：http://hortonworks.com/apache/metron/ Apache Metron Meetup May 4, 2016
2016-11-25 13:49:14
2041
转载 CentOS学习21_ CentOS 配置防火墙操作实例（启、停、开、闭端口）
CentOS 配置防火墙操作实例（启、停、开、闭端口）： 注：防火墙的基本操作命令：查询防火墙状态:[root@localhost ~]# service iptables status 停止防火墙:[root@localhost ~]# service iptables stop 启动防火墙:[root@l
2016-11-24 20:01:52
1286
转载 MVN学习1_Centos6.6安装Maven
安装说明虚拟机：VirtualBox操作用户：root系统环境：centos6.6 x64安装方式：tar包安装软件：apache-maven-3.2.5-bin.zip软件下载目录：/root/opt下载地址：http://ftp.riken.jp/net/apache/maven/maven-3/3.2.5/binaries/apache-maven-3.2.5-b
2016-11-22 15:23:00
670
转载 Ambari学习17_Amabri 2.1安装HDP2.3.2 之 七、自定义HDP服务
以zeppelin为例，它是一个基于网页的notebook，可以进行数据分析与可视化，zeppelin里有个概念是解释器，解释器使得很多后端语言能够像插件一样在zeppelin中使用，例如 Spark,、Python、sql、shell等等。具体介绍看zeppelin官网。 添加zeppelin服务时不必关掉其他服务。 我要用到python，而支持python的话需要自己编译zeppe
2016-11-22 15:14:24
1207
1
转载 Docker学习1_CentOS6下docker的安装和使用
Docker是一个开源的应用容器引擎，可以轻松的为任何应用创建一个轻量级的、可移植的、自给自足的容器。利用Linux的LXC、AUFS、Go语言、cgroup实现了资源的独立，可以很轻松的实现文件、资源、网络等隔离，其最终的目标是实现类似PaaS平台的应用隔离。 Docker值得关注的特性：文件系统隔离：每个进程容器运行在一个完全独立的根文件系统里。资源隔
2016-11-22 10:30:22
1010
转载 MySQL学习13_Centos下Mysql创建用户
MySQL的root账号只能本地访问，不能远程访问。这时我们需要创建用户。登录mysql -u root -p Enter password: (输入密码) 其中-u后跟的是用户名，-p要求输入密码，回车后在输入密码处输入密码。用户创建、授权以及删除创建用户CREATE USER yy IDENTIFIED BY '123';11yy表示你要建立
2016-11-21 20:44:57
3038
原创 Ambari学习16_使用Ambari安装Hive的注意事项
安装Hive前，需要安装Mysql，如图安装Hive的步骤如下：http://blog.csdn.net/wang_zhenwei/article/details/50563718使用Ambari安装Hive的过程时，需要先在机器上安装好Mysql，安装过程如下：1.为ambari建立数据库# yum install mysql-connector-java#
2016-11-21 10:58:56
9228
原创 Ambari学习15_CentOS6.5下安装Ambari2.4全过程
Ambari安装 一、前期准备CentOS应该使用英文版本1、网络修改/etc/sysconfig/network-scripts/ifcfg-em1，使网络开机时自动连接即设置：ONBOOT=yes2、系统文件修改/etc/hosts和/etc/sysconfig/network3、跟新openssl查看openssl版本：openssl versio
2016-11-17 13:48:11
5115
转载 Ambari学习14_升级ambari、HDP版本（ambari 2.1升级到2.4、HDP2.3升级到2.5）
官方升级版本说明http://docs.hortonworks.com/HDPDocuments/Ambari-2.4.0.1/bk_ambari-installation/content/determine_stack_compatibility.html官方升级步骤http://docs.hortonworks.com/HDPDocuments/Ambari-2.4.0.1/b
2016-11-16 15:44:52
3736
转载 Ambari学习13_安装ambari的时候遇到的ambari和hadoop问题集
5.在安装的时候遇到的问题5.1使用ambari-server start的时候出现ERROR: Exiting with exit code -1.5.1.1REASON: Ambari Server java process died with exitcode 255. Check /var/log/ambari-server/ambari-server.out for mo
2016-11-14 16:10:57
32242
1
转载 Ambari学习12_ambari删除脚本
#1.删除hdp.repo和hdp-util.repocd /etc/yum.repos.d/rm -rf hdp*rm -rf HDP*#rm -rf ambari*#2.删除安装包#用yum list installed | grep HDP来检查安装的ambari的包yum remove -y sqoop.noarch yum remove -y lzo-devel.x
2016-11-14 16:08:10
460
原创 Ambari学习11_安装过程[Errno 256] No more mirrors to try问题解决
在Ambari配置的倒数第二步，出现了[Errno 256] No more mirrors to try的问题。解决方法如下：1、yum clean all2、yum makecache然后从新安装。
2016-11-14 13:52:16
3924
3
转载 CentOS学习20_centos 6.4 NTP服务器的搭建过程
一、声明：操作系统：cenots 6.4server IP： 192.168.0.199应老男孩老师的要求，做一次NTP服务的科普，由于NTP属于外围知识，没必要占用宝贵的课堂时间进行讲解，特此在课下进行科普.其他声明：文章内容知识本人的一点理解，未必100%准确，更多资料请查看NTP官网：http://www.ntp.org/ntpfaq/NTP-s
2016-11-14 10:08:55
873
原创 CentOS学习19_centos6.5关闭transparent huge pages详细操作
vi /etc/grub.confkernel项增加 transparent_hugepage=never例如：title Red Hat Enterprise Linux (2.6.32-431.el6.x86_64) root (hd0,0) kernel /vmlinuz-2.6.32-431.el6.x86_64 ro root=/de
2016-11-12 16:57:34
1870
转载 CentOS学习18_关于CentOS 6下Hadoop占用系统态CPU高的处理办法
一次不经意发现Hadoop的系统态CPU使用率很高，然后百度一下居然是个已知问题。RHEL6优化了内存申请的效率，而且在某些场景下对KVM的性能有明显提升：http://www.linux-kvm.org/wiki/images/9/9e/2010-forum-thp.pdf。而Hadoop是个高密集型内存运算系统，这个改动似乎给它带来了副作用。理论上运算型Java程序应该更多的使
2016-11-12 16:50:01
559
转载 Ambari学习10_ambari安装过程Registration with the server failed和[Errno 256] No more mirrors to try
今天重新安装ambari过程中，遇到了几个问题，耗费了我很长时间，在此记录一下ambari重新安装可参考我之前的一篇随笔http://www.cnblogs.com/6tian/p/4097401.html 遇到的问题一：此问题是在安装第二步，注册主机时遇到的('ERROR 2015-02-06 20:09:43,441 NetUtil.py:56 - [Err
2016-11-10 14:40:22
3485
转载 CentOS学习17_CentOS升级openssl为最新版
过程：wget http://www.openssl.org/source/openssl-1.0.1h.tar.gz tar zxvf openssl-1.0.1h.tar.gz cd openssl-1.0.1h ./config --prefix=/usr/local/openssl make && make install mv /usr/bi
2016-11-10 14:33:20
771
转载 Ambari学习9_setting up hdp 2.1 with non-standard users for hadoop services
setting up hdp 2.1 with non-standard users for hadoop services (why not use a non-standard user for ambari, too)Skip to end of metadataCreated by Lester Martin, last modified
2016-11-10 12:40:37
2292
原创 Ambari学习8_NetUtil.py:79 - SSLError: Failed to connect. Please check openssl library versions.
安装Ambari过程中，出现错误，查看提示，也只是：Registering with the server...Registration with the server failed.无奈，去查看日志，日志位置：/var/log/ambari-agent/ambari-agent.log，使用vim命令打开，使用Shift+g定位到最后一行，查看内容，ERROR 2016-11-
2016-11-10 11:06:15
5982
2
转载 Ambari学习7_使用ambari搭建hadoop集群(local)
Ambari是Hortonworks开源的一个管理和安装hadoop集群的工具，跟ClouderaManager类似。1、系统要求 1.1、操作系统要求 都要求是64位操作系统。 Red Hat EnterPrise Linux：5.x 或 6.x CentOS：5.x 或 6
2016-11-10 09:58:08
1693
转载 Ambari学习6_ssh 公钥认证报错：Permission denied (publickey,gssapi-keyex,gssapi-with-mic).解决
1.说明： ssh无密码用户远程登录，一直以来使用是debian操作系统，对用户目录权限要求没有关注过，生成了密钥，放对位置直接就可以使用，今天测试ansible工具，用到了CentOS6.3发现它对目录权限要求比较严格，本博文仅仅记录一下本次权限修改操作。2、操作记录(1)创建用户: ansible(2)修改sshd_config文件# vi /etc/s
2016-11-09 20:23:54
3727
转载 Ambari学习5_apache ambari web页面无法访问解决办法
作者：Bo liang链接：http://www.zhihu.com/question/34405898/answer/115001510来源：知乎著作权归作者所有，转载请联系作者获得授权。今天也安装Ambari时也遇到这个问题。百度上查了半天，也没看到结果，最后在其他搜索上查到了^_^。1、先在命令行输入nproc命令。[root@Slave3 var]# npr
2016-11-09 20:07:05
5118
1
转载 Ambari学习4_HDP2.4基于Ambari的分布式安装部署
1. GoalInstall HDP2.4 via ambari at CentOS6X, distribute to multi-system.2. Referencehttp://docs.hortonworks.com/HDPDocuments/Ambari-2.2.2.0/bk_Installing_HDP_AMB/content/ch_Getting_Ready.
2016-11-09 16:33:45
3767
原创 Linux学习37_LINUX下设置网卡开机自启动
方法一 vi /etc/sysconfig/network-scripts/ifcfg-eth0修改: ONBOOT=yes如果没有就把这行加上方法二 在/etc/rc.d/rc.local 里面加入ifup eth0 或 ifconfig eth0 up
2016-11-08 20:59:38
828
转载 CentOS学习16_CentOS修改系统默认语言与编码
有时候在安装CentOS无意中把默认语言设置为中文，而部分SSH软件不支持中文编码，所以在远程管理的时候会出现些乱码的现象。 如何修改CentOS的默认语言呢？请先使用root权限帐户登陆一、进入语言配置文件vi /etc/sysconfig/i18n用SSH执行以上命令，用vi编辑器修改/etc/sysconfig/i18n文件。
2016-11-08 20:41:26
815
原创 Ambari学习3_Ambari Registration with the server failed 错误解决
按照网上的教程安装配置Ambari，进行到第三步时，出现错误：点击红色“Failed”，查看详细错误：==========================Creating target directory...==========================Command start time 2016-11-09 16:24:42Connection to sla
2016-11-08 20:07:34
12969
4
转载 Ambari学习2_ Ambari 2.1安装HDP2.3.2 之 六、安装部署HDP集群 详细步骤
六、安装部署HDP集群浏览器访问 http://master:8080，进入amabri登录页面，用户名：admin，密码： admin选择 Launch Install Wizard: 1. Get started给集群起个名字，这里是 BigData:2. Select stack选择 hdp2.3, 将除redhat6 以外
2016-11-08 15:59:09
3902
转载 Python学习5_解决python 提示 SyntaxError: Missing parentheses in call to 'print'
刚刚学习python，练习他的输出，发现输出一个常量时报错了，如下：发现是因为python2.X版本与python3.X版本输出方式不同造成的在python3.X的，输入内容时都要带上括号python()，而在2.X中直接输出就没有问题 第二个地方，在IDE中运行给予提示，如原文来自：http://www.cnblogs.com/chongy
2016-11-07 20:28:46
6028
转载 Xmanager学习3_CentOS 6.5 开启Xmanager远程桌面登录
准备：1，CentOS 6.5 minimal Desktop2，配置CentOS可以访问互联网开始： 1，使用命令 yum install xdm 安装XDM通过 XDMCP 支持来管理 X 显示器集合2，修改/etc/X11/xdm/Xaccess文件，找到下面的语句：# * #any host can get a login window，
2016-11-07 11:12:06
1338
转载 Xmanager学习2_xmanager连接到RHEL6
GDM配置文档custom.conf参见http://projects.gnome.org/gdm/docs/2.18/configuration.html 1.安装xmanager 3.0到windows机器上。2.配置RHEL6中GDM设置2.1 配置RHEL6 使用图形登录。检查启动文件/etc/inittab ,要允许远程图形界面登录，必须配置
2016-11-07 11:08:00
463
转载 Xmanager学习1_Xbrowser无法连接到Linux的解决办法
Step1: 编辑/etc/X11/xdm/Xaccess，将下面的行： #* # any host can get a login window 改为： * # any host can get a login window Step2: 修改/etc/X11/gdm/gdm.conf，找到下面的信息： [xdmcp] En
2016-11-07 11:05:13
6073
转载 Ambari学习1_Ambari——大数据平台的搭建利器
虽然大数据越来越流行，但其学习的门槛却一直阻碍着很多的分布式应用初学者或者大数据的业务应用开发者。多个产品之间的不兼容问题，快速集成和维护也显得比较困难。不管是 Hadoop V1 或者 V2 的安装，又或者 Spark/YARN 等的集成，都不是几行简单的命令可以完成的，而是需要手工修改很多的集群配置，这进一步增加了业务开发者的学习和使用难度。有了 Ambari，这些都不再是难题。
2016-11-03 23:10:19
1832
转载 Linux学习36_ssh使用公钥授权不通过的问题解决
前提： 1.客户端生成了id_rsa.pub和id_rsa 2.服务端在.ssh/authorized_keys也加入了客户端的id_res.pub 3./etc/ssh/sshd_config开启了： Shell代码 RSAAuthentication yes PubkeyAuthentication yes AuthorizedKeysFi
2016-11-02 16:10:25
990
转载 Linux学习35_ Linux ssh 无法登录：Permission denied, please try again 案例分析
问题场景： Linux无法远程，返回信息：Permission denied, please try again 问题分析： 一般这样的信息，第一个反应就是账号和密码不正确。但这个问题场景，账号和密码信息准确无误，使用终端方式登录没有任何问题，主机内部没有限制该账号远程登陆。 处理这个问题最好的分析方法就是查看系统登录日志。（举例：centos 系统可
2016-11-02 14:43:07
4593
转载 Linux学习34_ 关于linux上面ssh和sftp到某台服务器出现Permission denied, please try again.
最近在阿里云上面部署了两台服务器。服务器a（图片服务器）和服务器b（主程序），b是通过Java的jsch这个框架来往a传送图片的，但是最近发送在b上面操作sftp的时候一直在报[html] view plain copy [root@iZ23h0vz72uZ ~]# sftp root@192.168.1.11 Connecting t
2016-11-02 14:29:57
3260
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人