Joker_Chou-CSDN博客

原创 Flink流计算引擎

伴随着海量增长的数据，数字化时代的未来感扑面而至。不论是结绳记事的小数据时代，还是我们正在经历的大数据时代，计算的边界正在被无限拓宽，而数据的价值再也难以被计算。时下，谈及大数据，不得不提到热门的下一代大数据计算引擎Apache Flink（以下简称Flink）。统一的批处理与流处理系统在大数据处理领域，批处理任务与流处理任务一般被认为是两种不同的任务，一个大数据项目一般会被设计为只...

2019-02-20 16:02:30 1938

转载激活Pycharm

在激活Jetbrains旗下任意产品的时候选择激活服务器填入以下地址便可成功激活http://idea.liyang.io点击help→Register→License sever ,输入http://idea.liyang.io

2017-07-24 12:51:56 433

原创用Python从百度百科爬取十个页面

从百度百科爬取十个页面： 1. 路径管理模块：url_manager.py 维护两个集合：待爬取的url 、已爬取的url 方法：（1）向管理器中添加一个新的url （2）向管理器中添加批量新的url（3）判断是否有新的待爬取的url（4）获取一个待爬取的url2. HTML下载模块：html_downloader.py 下载页面内容

2017-07-20 10:07:48 708

原创 Python for Mysql

1.安装： a.手动安装： pip install PyMySQL b.自动安装：下载pymysql,然后解压压缩包。在命令行中进入解压后的目录，执行如下的指令： python setup.py install2. mysql 操作流程：3.connection 对象：import pymysqlpri

2017-07-19 11:16:36 366

原创 ubuntu16 + jdk8 + hadoop2.7 安装

1.安装JDK2.解压hadoop 安装包至 /usr/local/hadoop 目录3.启动ssh : ssh localhost 关闭机器的防火墙： ufw disable4.配置hadoop:进入/usr/local/hadoop/etc/hadoop/目录下，修改三个配置文件：第一个文件core-site.xmlcore-sit

2016-11-29 14:39:34 759

原创 linux

Linux学习笔记1.磁盘的第一个扇区主要记录了两个重要的信息：主引导分区(MBR): 可以安装引导加载程序的地方，446bytes分区表:记录整块硬盘分区的状态，64bytes2.主分区、扩展分区、逻辑分区的关系：主分区与扩展分区最多可以有4个扩展分区最多只能有一个逻辑分区是由扩展分区持续切割出来的分区能够被格式化后作为数据访问的分区为主分区与逻辑分区。扩展分区无法格式化(如果

2016-11-25 23:17:26 1111

原创在win10的基础上安装ubuntu双系统

这两天为了学习hadoop,装双系统装到累吐血，下面总结一下。0.给电脑预留出一块空闲区间，大约50G。1.先去ubantu官网下载相关版本，我下的是麒麟16.10的64位版本的：http://www.ubuntukylin.com/downloads，下载后的iso文件移动到c盘根目录。2.下载好后安装easyBCD,在easyBCD选择“添加新条目”，然后选择“NeoGrub”

2016-11-17 15:22:42 1715

Joker_Chou的博客