- 博客(22)
- 资源 (5)
- 问答 (2)
- 收藏
- 关注
转载 urllib2请求csdn时,显示: urllib2.HTTPError: HTTP Error 403: Forbidden
转载自:原文章 https://www.douban.com/note/131370224/出现urllib2.HTTPError: HTTP Error 403: Forbidden错误是由于网站禁止爬虫,可以在请求加上头信息,伪装成浏览器访问#伪装浏览器头headers = {'User-Agent':'Mozilla/5.0 (Windows; U; Window
2016-01-25 16:15:11
716
转载 Python字符编码详解
转载自:点击打开链接 http://www.cnblogs.com/huxi/archive/2010/12/05/1897271.html1. 字符编码简介1.1. ASCIIASCII(American Standard Code for Information Interchange),是一种单字节的编码。计算机世界里一开始只有英文,而单字节可以表示256个不同的
2016-01-25 10:38:23
596
转载 使用Python Pandas处理亿级数据
转载自:http://www.justinablog.com/archives/1357在数据分析领域,最热门的莫过于Python和R语言,此前有一篇文章《别老扯什么Hadoop了,你的数据根本不够大》指出:只有在超过5TB数据量的规模下,Hadoop才是一个合理的技术选择。这次拿到近亿条日志数据,千万级数据已经是关系型数据库的查询分析瓶颈,之前使用过Hadoop对大量文本进行分类
2016-01-17 15:36:55
2560
原创 ubuntu 14.04 改网卡IP为静态IP
自己的网卡为eth21.$sudo ifdown eth2 //取消激活网卡,此时ifconfig将不会显示eth2 的信息2.修改/etc/network/interfaces这个文件auto eth2iface eth2 inet staticaddress 192.168.1.10 //静态IP地址netmask 255.255
2016-01-15 22:18:23
573
转载 静态语言和动态语言的区别
转载自:http://www.cnblogs.com/spmxlBlog/archive/2010/06/28/1766832.html一 、静态语言的优势到底在哪?来自robbin 摘自 http://www.javaeye.com/article/33971?page=7引用是像Java或者C#这样强类型的准静态语言在实现复杂的业务逻辑、开发大型商业系统、以
2015-11-01 16:10:25
700
转载 HBase数据迁移(3)-自己编写MapReduce Job导入数据
转载自:http://www.importnew.com/3912.html(xukaics:这片文章主要针对的是,将hdfs中的数据迁移到Hbase中。不是之前大多数网上将HBase数据读出,再写入Hbase中)自定义Mapper,直接将数据写入到Hbase中,原文章不得转载,自己去看吧。
2015-10-27 13:53:43
373
转载 zookeeper简介 和 分布式服务框架 Zookeeper -- 管理分布式环境中的数据
转载自:http://www.open-open.com/lib/view/open1415453633887.html转载自:http://www.ibm.com/developerworks/cn/opensource/os-cn-zookeeper/index.html阅读目录1、 文件系统2、 通知机制1、 命名服务2、 配置管理3、 集群管理分布式与数
2015-10-22 22:39:06
1166
转载 ClassLoader 详解及用途
转载自:http://blog.chinaunix.net/uid-21227800-id-65885.htmlClassLoader主要对类的请求提供服务,当JVM需要某类时,它根据名称向ClassLoader要求这个类,然后由ClassLoader返回这个类的class对象。 1.1 几个相关概念ClassLoader负责载入系统的所有Resources(Cla
2015-10-19 15:36:23
315
转载 详解java类的生命周期(笔者按自己知识量有少量添加)
转载自:http://www.2cto.com/kf/201204/129386.html引言 最近有位细心的朋友在阅读笔者的文章时,对java类的生命周期问题有一些疑惑,笔者打开百度搜了一下相关的问题,看到网上的资料很少有把这个问题讲明白的,主要是因为目前国内java方面的教材大多只是告诉你“怎样做”,但至于“为什么这样做”却不多说,所以造成大家在基础和原理方面的知识比较匮
2015-10-18 22:20:39
387
转载 数据库稠密索引与稀疏索引
转载自:(原文档打不开) 百度快照显示的,请理解一、稠密索引如果记录是排好序的,我们就可以在记录上建立稠密索引,它是这样一系列存储块:块中只存放记录的键以及指向记录本身的指针,指针就是一个指向记录或存储块地址。稠密索引文件中的索引块保持键的顺序与文件中的排序顺序一致。既然我们假定查找键和指针所占存储空间远小于记录本身,我们就可以认为存储索引文件比存储数据文件所需存储块要少得多。
2015-10-17 14:59:36
2326
转载 Kafka文件存储机制那些事
转载自:http://tech.meituan.com/kafka-fs-design-theory.htmlKafka是什么Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/nginx日志、访问日志,消息服务等等,Linkedin于2010年贡献给了A
2015-10-17 14:56:42
508
原创 HBase完全分布式
一 实验环境:hadoop:pc1,pc2,pc3,pc4zookeeper:pc1,pc2,pc3。Hbase:pc1,pc2,pc3(集群结构,主节点(hmaster)是pc1,从节点(region server)是pc2,pc3)。二 修改配置文件:1.hadoop hadoop-env.sh:export HADOOP_CLASSPATH=$HBASE_HO
2015-10-10 09:22:15
545
转载 HBase的原理
从大家最熟悉的客户端发起请求开始讲起吧,这样大家能够深有体会的逐步了解原理。比如我们发起了一条PUT请求,客户端首先需要查找到需要响应请求的REGION SERVER。 记录region->region server映射是由HBASE系统表.META.记录的。所以我们只要知道. META.表的位置就能知道 每个region响应的key的范围 和region所在机器。但是.META.表又保存在哪
2015-09-21 10:30:29
792
转载 关于 hadoop reduce 阶段遍历 Iterable 的 2 个“坑”---(为何数据会显示最后一个和二次迭代时,数据消失)
为何数据会显示最后一个和二次迭代时,数据消失
2015-09-14 08:45:45
1100
curl-7.38.0.tar.bz2
2014-11-04
xtables-addons-2.6.tar
2014-11-04
有关openwrt做开发的提问。如果您了解openwrt,希望您能给出一些建议,谢谢啦
2014-09-02
TA创建的收藏夹 TA关注的收藏夹
TA关注的人