- 博客(35)
- 资源 (25)
- 收藏
- 关注
RSS订阅转载 大数据如何反恐
原作者：Khushbu Shah、DeZyre原文链接：http://www.kdnuggets.com/2015/12/big-data-science-security-fraud-detection.htmlIntetix Foundation（英明泰思基金会）由从事数据科学、非营利组织和公共政策研究的中国学者发起成立，致力于通过数据科学改善人类社会和自然环境。通过联
2016-01-31 14:18:50
3649
转载 使用QJM构建HDFS HA架构(2.2+)
【使用QJM构建HDFS HA架构(2.2+)】 本文主要介绍HDFS HA特性，以及如何使用QJM(Quorum Journal Manager)特性实现HDFS HA。一、背景 HDFS集群中只有一个Namenode，这就会引入单点问题；即如果Namenode故障，那么这个集群将不可用，直到Namenode重启或者其他Namenode接入。有两种方式会影响集群的整体可用性：
2016-01-29 16:56:05
855
转载 Hdfs-site.xml配置说明
Cloudera CHD4B1版本已经包含了NameNode HA，社区也把NameNode HA branch HDFS-1623 merge到trunk版本，可以实现了双NameNode的热备份，不过目前只支持手动切换，还不支持自动切换，社区中自动切换进度请看：https://issues.apache.org/jira/browse/HDFS-3042NameNode HA（CHD4B1
2016-01-29 16:54:20
11434
转载 Alex 的 Hadoop 菜鸟教程: 第12课 Sqoop1 安装/导入/导出教程
原帖地址： http://blog.csdn.net/nsrainbow/article/details/41575807Sqoop是什么sqoop是用于在传统关系型数据库跟hdfs之间进行数据导入导出的工具。目前sqoop已经出了2，但是截至当前，sqoop2还是个半成品，不支持hbase，功能还很少，所以我还是主要讲sqoop1安装Sqoop1[plai
2016-01-28 11:39:45
983
原创 org.apache.hadoop.hdfs.server.datanode.DataNode: Invalid dfs.datanode.data.dir /chunk : java.io.Fil
异常报错：org.apache.hadoop.hdfs.server.datanode.DataNode: Invalid dfs.datanode.data.dir /chunk :java.io.FileNotFoundException: File file:/chunk does not exist启动：sbin/解决方案：vi /e3base/hadoo
2016-01-26 20:42:41
1893
转载 Hadoop 2.0 – HA功能中ZKFC对NN状态的控制
ZKFC进程名称：DFSZKFailoverControllerHadoop 2.0 HA架构图：FC是要和NN一一对应的，两个NN就要部署两个FC。它负责监控NN的状态，并及时的把状态信息写入ZK。它通过一个独立线程周期性的调用NN上的一个特定接口来获取NN的健康状态。FC也有选择谁作为Active NN的权利，因为最多只有两个节点，目前选择策略还比较简单（先到先得，轮换）。
2016-01-26 17:32:40
1357
1转载 zookeeper3.4.5自动清理日志
从3.4.0开始，zookeeper提供了自动清理snapshot和事务日志的功能，通过配置 autopurge.snapRetainCount 和 autopurge.purgeInterval 这两个参数能够实现定时清理了。这两个参数都是在zoo.cfg中配置的，将其前面的注释去掉，根据需要修改日志保留个数：autopurge.purgeInte
2016-01-25 14:29:52
509
转载 python实现简单爬虫功能
文章源自：http://www.cnblogs.com/fnng/p/3576154.html在我们日常上网浏览网页的时候，经常会看到一些好看的图片，我们就希望把这些图片保存下载，或者用户用来做桌面壁纸，或者用来做设计的素材。 我们最常规的做法就是通过鼠标右键，选择另存为。但有些图片鼠标右键的时候并没有另存为选项，还有办法就通过就是通过截图工具截取下来，但这样就降低图片的清晰度。好吧
2016-01-21 11:02:54
500
原创 $ ping www.baidu.com connect: Network is unreachable
服务器和网络之间ping不通。设置linux的IP地址的方式为在/etc/sysconfig/network-scripts/ifcfg-eth0中做如下设置：配置的IP地址为192.168.60.9，网关是192.168.60.1，子网掩码是255.255.255.224。配置好了以后我用service network restart重启了网络服务，并且网卡eth0重启正常。
2016-01-21 10:37:58
4976
转载 Python动态监控日志的内容
本文介绍如何使用Python动态监控程序日志的内容，这里的动态指的是日志文件不断的追加新的日志内容，动态监控是指监控日志新追加的日志内容日志文件一般是按天产生，则通过在程序中判断文件的产生日期与当前时间，更换监控的日志文件程序只是简单的示例一下，监控test1.log 10秒，转向监控test2.log程序监控使用是linux的命令tail -f来动态监控新追加的日志，Github
2016-01-20 17:52:44
974
转载 python符号、关键字
在python里，标识符有字母、数字、下划线组成。在python中，所有标识符可以包括英文、数字以及下划线（_），但不能以数字开头。python中的标识符是区分大小写的。以下划线开头的标识符是有特殊意义的。以单下划线开头（_foo）的代表不能直接访问的类属性，需通过类提供的接口进行访问，不能用“from xxx import *”而导入；以双下划线开头的（__foo）代表类的私有成员；以双
2016-01-20 17:19:40
1895
转载 如何写好简历
阿里感悟（十）如何写好简历我在工作中筛选过几百封简历，也推荐过上百封简历。发现很多求职者的简历写得有不如意的地方，有的写得太简单缺少必要信息，有的又写得太多没有突出重点。如果是找我推荐的，每次我都会让他们修改，为了让更多的同学写出高质量的简历，本文介绍下如何写好简历。 一 什么是简历简历是突出自我亮点的工作或学习经历和自我介绍。所以写简历要把握两个重点，工作经历要突出重点，自我
2016-01-20 10:56:33
1070
转载 Storm入门之第一章 基础知识
原书下载地址 译者：吴京润 编辑：方腾飞译者注：本文翻译自《Getting Started With Storm》，本书中所有Storm相关术语都用斜体英文表示。 这些术语的字面意义翻译如下，由于这个工具的名字叫Storm，这些术语一律按照气象名词解释spout 龙卷，读取原始数据为bolt提供数据bolt 雷电，从spout或其它bolt接收数据，并处理数据，处理结果可作为其
2016-01-19 17:45:31
563
转载 【Storm入门指南】附录C 安装真实示例
标签： storm 2015-03-18 22:48 35人阅读 评论(0)收藏 举报分类： java（21） 目录(?)[+]首先，从GitHub仓库克隆该示例：1> git clone git://github.com/storm-book/examples-ch06-real-life-
2016-01-19 17:43:08
560
转载 【Storm入门指南】附录B 安装Storm集群
如果想创建一个 Storm 集群，有如下两种途径：使用 storm-deploy在 Amazon EC2创建一个集群，如第六章所示手动安装Storm（本节的内容）手动安装Storm，需要安装如下软件：Zookeeper 集群，参见管理手册Java 6.0Python 2.6.6Unzip 指令
2016-01-19 17:42:16
636
转载 [译]【Storm入门指南】附录A 安装Storm客户端
Storm 客户端允许你使用指令来管理 topology 提交到集群中。遵循如下步骤来安装 Storm 客户端：从 Storm 站点下载最新稳定版 Storm；一旦下载了，将其解压到/usr/local/bin/storm；接着，添加storm PATH，以便可以运行 storm 指令，无需输入全路径。如果你使用/usr/local/bin/storm目录，
2016-01-19 17:40:58
726
转载 [译]【Storm入门指南】第八章 事务 Topologies
在Storm中，如本书前面提到的，你可以使用 ack 和 fail策略来保证消息被处理。但是如果消息重放了呢？如何保证不被重复计数？事务 Topology 是 Storm 0.7.0 里面的新特性，可以使用消息原语来保证消息以安全的方式重放，且仅被处理一次。没有事务性 topology 的支持，你无法以并发的、容错的方式百分百准确地进行统计。事务性 topology 是建立在标
2016-01-19 17:40:04
709
转载 【Storm入门指南】第七章 在 Storm 中使用非 JVM 语言
有时候你希望使用非JVM语言来实现一个 Storm工程，也许是你使用其他语言感觉更舒服，或者是你想使用其他语言的开发的库。Storm 是用 Java 实现的，你之前所看到的本书那些示例 spout 和 bolt 也是用Java来编码的。所以能用能用 Python、Ruby 或者 JavaScript 来编写呢？答案是肯定的。通过使用多语言协议（multilang protocol） 来实现
2016-01-19 17:38:43
831
转载 【Storm入门指南】第六章 真实示例
本章将演示一个典型的网页分析方案，通常使用 Hadoop 批量作业来解决的问题。不像 Hadoop 的实现方案，基于 Storm 的解决方案实时刷新并呈现结果。示例有三个主要部分（如图6.1所示）：一个 Node.js 的web应用，用来测试系统一个 Redis 服务器，用来持久化数据一个 Storm topology，用于实时分布式数据处理
2016-01-19 17:36:56
867
转载 【Storm入门指南】第五章 Bolts
如你所见，bolt 是Storm集群的关键组件。本章，你将了解到一个 bolt 的生命周期、一些 bolt 设计策略以及几个演示如何实现它的例子。5.1 Bolt 生命周期Bolt 是一个将 tuple 作为输入、产出多个 tuple 作为输出的组件。实现一个 bolt，通常需要实现IRichBolt接口。Bolt 在客户端服务器中被创建，序列化到 topology 中，然后被
2016-01-19 17:35:35
428
转载 [译]【Storm入门指南】第四章 Spouts
本章，你将学习到最被经常用来设计 topology（spout）的策略以及 spout 是如何具有容错能力的。4.1 可靠 vs. 不可靠消息当设计 topology 时，消息的可靠性是浮现在脑海中最重要的一件事。如果一个消息不能被处理，你需要决定如何处理这条消息以及整个topology需要做什么。比如，当处理银行存款业务时，很重要的一点事不能丢失任何一条交易消息。但是如果你处理上
2016-01-19 17:34:19
742
转载 【Storm入门指南】第三章 Topologies
你将从本章学习到：如何在一个 Storm topology 的不同组件间传递 tuple，以及如何将 topology 部署到一个 Storm 集群。3.1 流分组当设计一个 topology 的时候，你需要做的最重要的一件事是定义如何在不同组件间交换数据，换言之就是 bolt 间如何消费数据流。流分组明确了哪些流被每个 bolt 消费以及被如何消费。一个节点可以发射不
2016-01-19 17:32:48
852
转载 【Storm入门指南】第二章 入门实例
本章将演示创建一个 Storm 工程和第一个 topology。下文是建立在你的机器上安装有 JRE 1.6 及以上的环境。建议使用Oralce JRE，可从 http://www.java.com/download 获得。2.1 运行模式在开始之前，理解 Storm 的运行模式很重要。Storm 有两种运行模式。2.1.1 本地模式在本地模式中，S
2016-01-19 17:29:41
375
转载 编写一个监控Zookeeper的Java程序，可以通过两种方式 :
如果想编写一个监控Zookeeper的Java程序，可以通过两种方式 :（1）通过TelnetClient发送命令 ,命令的详解参考：http://zookeeper.apache.org/doc/trunk/zookeeperAdmin.html#sc_zkCommands（2）通过JMX，说明请参考：http://zookeeper.apache.org/doc/trunk/zooke
2016-01-18 16:08:38
2786
原创 两台Linux主机ping不通问题分析
一、异常表现[root@master zkpk]# ping slavePING slave (192.168.82.94) 56(84) bytes of data.From master (192.168.82.9) icmp_seq=2 Destination Host UnreachableFrom master (192.168.82.9) icmp_seq=3 De
2016-01-13 09:43:41
19499
原创 zip I/O error: Permission denied zip error: Could not create output file (/mnt/e/backup/201601120144
Python一、题目：#!/usr/bin/env python我们已经探究了python语言的方方面面，现在我们将通过设计编写一个有用的程序将这些内容有机的结合起来。主要目标是让大家有能力独自编写程序。 要求：我们要解决的问题是”希望编写一个程序，用于创建所有重要文件的备份”。尽管这个问题很简单，但并没有给出足够多的直观信息用以创建
2016-01-12 19:21:23
11818
转载 linux下出现ping:unknown host www.baidu.com问题时的解决办法——ubuntu下局域网络的配置
如果ping域名的时候出现ping:unknown host xxx.xxx但是ping IP地址的时候可以通的话可知是dns服务器没有配置好，查看一下配置文件/etc/resolv.conf，里面是否有nameserver xxx.xxx.xxx.xxx，比如使用dns服务器 nameserver 8.8.8.8，如果有，修改一个可用的dns服务器，如8.8.8.8或者4.
2016-01-12 13:32:59
1447
转载 Python基础01 Hello World! >>> 结束符 exit()
Python命令行假设你已经安装好了Python, 那么在Linux命令行输入:$python将直接进入python。然后在命令行提示符>>>后面输入:>>>print('Hello World!')可以看到，随后在屏幕上输出:Hello World!print是一个常用函数，其功能就是输出括号中得字符串。（在Python 2.x中，print还可以是一个关
2016-01-12 09:28:52
561
转载 #!/usr/bin/env python与#!/usr/bin/python的区别
脚本语言的第一行，目的就是指出，你想要你的这个文件中的代码用什么可执行程序去运行它，就这么简单#!/usr/bin/python是告诉操作系统执行这个脚本的时候，调用/usr/bin下的python解释器；#!/usr/bin/env python这种用法是为了防止操作系统用户没有将python装在默认的/usr/bin路径里。当系统看到这一行的时候，首先会到env设置里查找python的
2016-01-11 14:01:27
439
原创 Xshell连接CentOS问题分析
Xshell连接不上 CentOS分析如下：1.本机没有接通网络由于二者之间通过网络http协议进行通信，所以连接前提是本机网络必须处于连接状态。2.CentOS防火墙未关闭3.ip地址0有误，包括设定。拼写等（最基本的错误）4.Windows的ip与CentOS的IP不在同一网段（最关键的原因）当二者的网络不在同一网段是。他们之间往往ping不通。所以说每当本机ip地
2016-01-11 09:39:23
860
转载 对storm中Topology的并发度理解
主要思想来源于storm的项目页面： https://github.com/nathanmarz/storm/wiki/Understanding-the-parallelism-of-a-Storm-topology其中加入了一些个人的理解，所以就把文章mark成原创了，实际上大部分还是人家的东西。其实翻译这个文章的人也挺多，我看了几个，总是感觉有点绕，所以干脆自己总结一下。目标是简单明了的
2016-01-08 17:08:33
402
转载 storm命令详解
在部署好Storm集群后，可以使用Storm提供的命令行客户端提供的帮助信息[root@sc1 ~]# stormCommands: activate 激活指定的拓扑 classpath 获取Storm客户端运行命令时使用的类路径（classpath） deactivate 禁
2016-01-08 15:58:09
658
原创 l backtype.storm.ui.core Exception in thread "main" java.net.BindException: Address already in use
一 、异常原因启动 storm ui >/dev/null 2>&1 & 报错l backtype.storm.ui.coreException in thread "main" java.net.BindException: Address already in use at java.net.PlainSocketImpl.socketBind(Native Meth
2016-01-08 10:37:36
1783
转载 storm常见问题
文档说明该文档包涵了storm实战中经常遇到一些问题，及对应解决方案。这个文档是群里一个朋友在学习storm，并实战storm中遇到的一些问题，及和群里其他朋友一起交流给出的对应解决方案，并由他整理好，委托我发布出来（也算是交流者之一），供大家参考，希望能对大家有所帮助。感谢 某某（哈哈 鉴于部分原因，不便透露名字~~~~！）…问题锦集1 关于Storm集群1.1
2016-01-08 10:30:43
3265
wireshark-v3.4.2.zip
2021-04-20
shell脚本案例-俄罗斯方块
2021-03-01
gsoap2.8.11&2.8.1双版本.txt
2021-02-05
gsoap2.8.11离线安装包
2021-02-05
yum离线安装包(真实有效)
2021-02-05
PERL/NASM安装包(exe)工具以及openssl-1.1.1-pre5.tar.gz
2020-11-03
NVIDIA-Linux-x86_64-418.88.run
2020-09-02
Ubuntu16.04 openssh安装包
2020-07-16
全栈性能java网络爬虫从入门到精通实战.pdf
2020-05-26
Ubuntu操作系统ssh安装包
2020-05-25
qt-opensource-linux-x64-5.7.1.run
2020-03-26
qt-opensource-linux-x64-5.5.1.run
2020-03-26
curl-7.49.0.tar.gz
2020-03-26
libevent-2.0.21-stable.tar.gz
2020-03-26
Linux libevent2.1安装包
2020-03-26
redis505.rar
2020-03-04
支持VMWare Esxi6.7虚拟机操作系统，VMware-ovftool-4.3.0.x86_64。用于企业大容量（20G亲测）OVF导出.txt
2019-11-05
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人