煊琦的CSDN小窝

这一阵子在做微博爬虫的练习，经常遇到封IP的情况，上网查找资料，发现DianaCody的博客总结非常到位，因而这里转载留着记录。   转载地址：http://blog.csdn.net/dianacody/article/details/39717825技巧一设置下载等待时间下载频率技巧二设置cookies技巧三修改User-Agent技巧四修改IP技巧五分布式爬取

JAVA编程规范前一阵子在复习JAVA，搜到了基本的编码规范，感觉很有实用，在此mark一下~ 注：文章内容选自软酷实验室~~JAVA编码规范大致可以分为7个部分：JAVA编程规范命名规范注释规范缩进排版规范文件名规范声明规范语句规范编程规范命名规范1、所有的标示符都只能用 ASCII 字母(A-Z 或 a-z)、数字(0-9)和下划线“_”。2、类名是一个名词，采用大小写混合的

需求实现过程开启hadoop和sparkjar包处理HDFS文件设置spark-submit程序查询结果附加代码需求  使用Spark实现对一个文档中的每一行的单词进行词配对计数，要求去标点符号，将大写符号统一转化成为小写单词。