- 博客(9)
- 收藏
- 关注
RSS订阅原创 VersionCompare
public class VersionCompare{ public static int VersionCompare(String V1,String V2){ //检测版本号是否合法 if (V1==null||V2==null) throw new IllegalArgumentException("Version can not be null"); if (
2017-03-06 14:14:53
425
原创 使用netty开发透传服务器
main类package com.server;import java.io.BufferedReader;import java.io.IOException;import java.io.InputStreamReader;public class main { public static void main(String[] args) throws
2017-03-02 20:51:01
3093
2
转载 详细探究Spark的shuffle实现
Background在MapReduce框架中，shuffle是连接Map和Reduce之间的桥梁，Map的输出要用到Reduce中必须经过shuffle这个环节，shuffle的性能高低直接影响了整个程序的性能和吞吐量。Spark作为MapReduce框架的一种实现，自然也实现了shuffle的逻辑，本文就深入研究Spark的shuffle是如何实现的，有什么优缺点，与Hadoop Ma
2016-12-08 21:26:00
234
原创 Python爬虫爬取网站新闻
网站分析为了方便爬取，所以选择了手机版的简版网易新闻网址。 获取新闻链接列表的网址为http://3g.163.com/touch/article/list/BA8J7DG9wangning/1-40.html 其中1-40表示获取列表的当前页数，爬取列表时只需修改页数即可。爬取过程获取新闻链接地址使用requests包读取新闻列表页面，然后使用正则表达式提取出其中的新闻页面链接，返回urls
2016-11-19 22:02:19
7869
原创 python实现的某网页模拟点赞程序
朋友参加了一个活动，在网页上攒够多少个赞即可兑换奖品。每天每人只能点一个赞，通过尝试发现是通过cookie实现的点赞限制，当进入网页时该网页会在本地存放一个cookie，cookie的值是通过请求的时间由服务器生成的加密值，当点击点赞按钮时会向服务器返回本地cookie存放的值，如果返回到服务器的cookie值相同则该点赞无效。通过python程序不断模拟浏览器点击获取cookie值并模拟点赞
2016-10-18 20:03:06
4075
2
转载 Spark: Transformation和Action
Transformation和Actions操作概况Transformation具体内容map(func) :返回一个新的分布式数据集，由每个原元素经过func函数转换后组成filter(func) : 返回一个新的数据集，由经过func函数后返回值为true的原元素组成*flatMap(func) : 类似于map，但是每一个输入元素，会被映射为0到多个输出元素（因此，func函
2016-10-11 18:40:22
210
原创 Hadoop2.6.4分布式搭建
用虚拟机搭建了一个三台虚拟机的hadoop集群，一台master，两台slaves，系统用的是centos6.5一 安装jdk我安装的是jdk1.8，这里就不写了二 配置hosts文件三 设置ssh免密码登录四 安装hadoop1 下载hadoop2.6.4并解压，我把他解压到了/home文件夹下面tar -zxvf hadoop-2.6.4.t
2016-09-25 14:40:43
203
转载 Liunx解压时出现错误： tar: 跳转到下一个头tar
今天在centos中解压HBase包时出现如果问题：tar: 跳转到下一个头 tar: Child returned status 1 tar: Error is not recoverable: exiting now 解决方法：是文件传输的导致的问题。传送的时候必须用二进制方式传送，不能用ASCII方式上传文件。用Xft
2016-08-09 20:44:19
5545
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人