- 博客(0)
- 资源 (45)
- 收藏
- 关注
自己动手写网络爬虫 完整版
第1篇 自己动手抓取数据
第1章 全面剖析网络爬虫 3
1.1 抓取网页
1.1.1 深入理解url
1.1.2 通过指定的url抓取网页内容
1.1.3 java网页抓取示例
1.1.4 处理http状态码
1.2 宽度优先爬虫和带偏好的爬虫
1.2.1 图的宽度优先遍历
1.2.2 宽度优先遍历互联网
1.2.3 java宽度优先爬虫示例
1.2.4 带偏好的爬虫
1.2.5 java带偏好的爬虫示例
1.3 设计爬虫队列
1.3.1 爬虫队列
1.3.2 使用berkeley db构建爬虫队列
1.3.3 使用berkeley db构建爬虫队列示例
1.3.4 使用布隆过滤器构建visited表
1.3.5 详解heritrix爬虫队列
1.4 设计爬虫架构 .
1.4.1 爬虫架构
1.4.2 设计并行爬虫架构
1.4.3 详解heritrix爬虫架构
1.5 使用多线程技术提升爬虫性能
1.5.1 详解java多线程
1.5.2 爬虫中的多线程
1.5.3 一个简单的多线程爬虫实现
1.5.4 详解heritrix多线程结构
1.6 本章小结
第2章 分布式爬虫 69
2.1 设计分布式爬虫
2.1.1 分布式与云计算
2.1.2 分布式与云计算技术在爬虫中的应用——浅析google的云计算架构
2.2 分布式存储
2.2.1 从ralation_db到key/value存储
2.2.2 consistent hash算法
2.2.3 consistent hash代码实现
2.3 google的成功之道——gfs
2.3.1 gfs详解
2.3.2 开源gfs——hdfs
2.4 google网页存储秘诀——bigtable
2.4.1 详解bigtable
2.4.2 开源bigtable——hbase
2.5 google的成功之道——mapreduce算法
2.5.1 详解mapreduce算法
2.5.2 mapreduce容错处理
2.5.3 mapreduce实现架构
2.5.4 hadoop中的mapreduce简介
2.5.5 wordcount例子的实现
2.6 nutch中的分布式
2.6.1 nutch爬虫详解
2.6.2 nutch中的分布式
2.7 本章小结
第3章 爬虫的“方方面面”121
3.1 爬虫中的“黑洞”
3.2 限定爬虫和主题爬虫
3.2.1 理解主题爬虫
3.2.2 java主题爬虫
3.2.3 理解限定爬虫
3.2.4 java限定爬虫示例
3.3 有“道德”的爬虫
3.4 木章小结
第2篇 自己动手抽取web内容
第4章 “处理”html页面 159
4.1 征服正则表达式
4.1.1 学习正则表达式
4.1.2 java正则表达式
4.2 抽取html正文
4.2.1 了解htmlparser
4.2.2 使用正则表达式抽取示例
4.3 抽取正文
4.4 从javascript中抽取信息
4.4.1 javascript抽取方法
4.4.2 javascript抽取示例
4.5本章小结
第5章 非html正文抽取 201
5.1 抽取pdf文件
5.1.1 学习pdfbox
5.1.2 使用pdfbox抽取示例
5.1.3 提取pdf文件标题
5.1.4 处理pdf格式的公文
5.2 抽取office文档
5.2.1 学习poi
5.2.2 使用poi抽取word示例
5.2.3 使用poi抽取ppt示例
5.2.4 使用poi抽取excel示例
5.3 抽取rtf 5.3.1 开源rtf文件解析器
5.3.2 实现一个rtf文件解析器
5.3.3 解析rtf示例
5.4 本章小结
第6章 多媒体抽取 231
6.1 抽取视频
6.1.1 抽取视频关键帧
6.1.2 java视频处理框架
6.1.3 java视频抽取示例
6.2 音频抽取
6.2.1 抽取音频
6.2.2 学习java音频抽取技术
6.3 本章小结
第7章去掉网页中的“噪声” 257
7.1 “噪声”对网页的影响
7.2 利用“统计学”消除“噪声”
7.2.1 网站风格树
7.2.2“统计学去噪”java实现
7.3 利用“视觉”消除“噪声”
7.3.1 “视觉”与“噪声”
7.3.2 “视觉去噪”java实现
7.4 本章小结
第3篇 自己动手挖掘web数据
第8章 分析web图 283
8.1 存储web“图”
8.2 利用web“图”分析链接
8.3 google的秘密——pagerank
8.3.1 深入理解pagerank算法
8.3.2 pagerank算法的java实现
8.3.3 应用pagerank进行链接分析
8.4 pagerank的兄弟hits
8.4.1 深入理解hits算法
8.4.2 hits算法的java实现
8.4.3 应用hits进行链接分析
8.5 pagerank与hits的比较
8.6 本章小结
第9章 去掉重复的“文档” 317
9.1 何为“重复”的文档
9.2 去除“重复”文档——排重
9.3 利用“语义指纹”排重
9.3.1 理解“语义指纹”
9.3.2 “语义指纹”排重的java实现
9.4 simhash排重
9.4.1 理解simhash
9.4.2 simhash排重的java实现
9.5 分布式文档排重
9.6 本章小结
第10章 分类与聚类的应用 333
10.1 网页分类 10.1.1 收集语料库
10.1.2 选取网页的“特征”
10.1.3 使用支持向量机进行网页分类
10.1.4 利用url地址进行网页分类
10.1.5 使用adaboost进行网页分类
10.2 网页聚类
10.2.1 深入理解dbscan算法
10.2.2 使用dbscan算法聚类实例
10.3 本章小结
2013-02-25
2012.C语言课程设计
题目来源是:(1)较重要C语言程序设计教科书中的例题或习题;(2)与计算机学科相关的后续课程,如数据结构、离散数学、组合数学、计算方法等课程教科书中的例题或习题中,不需要相关后续课程的专门知识就可以很好解答的题目;其它有影响计算机程序设计类书籍或文章中的例题;(3)各级各类计算机程序设计竞赛(例如ACM大赛)、程序员考试、求职面试的训练题和考试题等。欢迎老师和同学们提供更好的题目。
2题目内容涉及的知识点不超过大学一年级的知识水平,主要目标是训练学生将实际问题转化为计算机可以处理的形式并编写程序给出解答的能力。去掉了较复杂事务管理如图书管理、学生成绩管理之类的题目,这类事务管理方面题目希望在后续课程如C++面向对象程序设计、数据库应用及各专业的课程设计中进行。
2012-04-05
pydasm.pyd for python 2.7
安装方法这里有 http://blog.csdn.net/apxar/article/details/19007031
适合书本
《Python灰帽子:黑客与逆向工程师的Python编程之道》
2014-02-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人