自定义博客皮肤

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

编程语言基础练习题

1.输出1~100之间能被6整除的数 2.创建两个整型变量:x,y,通过代码求这两个变量的最大公约数和最小公倍数,并打印到控制台上。 例如:x = 12, y = 56 结果:最大公约数是4,最小公倍数是168 3.给一个变量x赋值为整数,将整数中的数字进行反转。 例如: x = 12...

2018-06-04 22:27:34

阅读数 532

评论数 0

Python数据分析

(一)异常值分析 箱型图分析 plt.figure() plt.rc('font', size=13) p = plt.boxplot(words_series.head(10),whis=1.5) plt.show() 结合describe()函数查看数据的基本情况 words_...

2018-03-21 17:30:36

阅读数 163

评论数 0

Linux下matpoltlib中文的乱码问题

①从Windows的D:\Windows\Fonts文件夹下把msyh.ttf拷贝到matplotlib的ttf文件夹下,我的文件夹目录是: /home/hadoop/app/anaconda3/lib/python3.6/site-packages/matplotlib/mpl-data/...

2018-03-16 18:20:28

阅读数 119

评论数 0

Linux上配置Jupyter Notebook

①生成配置文件 jupyter notebook --generate-config ②生成秘钥 使用python3进入python开发环境 from notebook.auth import passwd passwd() 会生成sha1密文 ③修改配置文件 vim ~...

2018-03-15 20:30:27

阅读数 999

评论数 0

Windows下使用Python

1.不需要单独下载Python,直接安装anaconda就可以了(Win10的系统需要以管理员模式运行安装软件,否则会出现权限问题),通过anaconda可以下载安装全部的Python组件 2.在anaconda中下载组件 ①打开Anaconda Prompt(Win10的系统需要以管理员模式...

2018-03-02 18:35:36

阅读数 203

评论数 0

《数据算法-Hadoop/Spark大数据处理技巧》读书笔记(五)——购物篮分析

这个购物篮分析要先理解他在算什么,我的理解是通过购物小票上的购物信息,在指定规则下穷举全部的购物关联性。 1.模型解释 ①数据源 a、b、c、d分别代表一种商品,超市的购物小票数据如下(为了简单起见,取4条小票数据),每个小票中的商品必须按照一定的顺序进行排列,否则会出现重复计算的情况: ...

2018-02-05 18:42:00

阅读数 595

评论数 0

《数据算法-Hadoop/Spark大数据处理技巧》读书笔记(四)——移动平均

移动平均:对时序序列按周期取其值的平均值,这种运算被称为移动平均。典型例子是求股票的n天内的平均值。 移动平均的关键是如何求这个平均值,可以使用Queue来实现。 public class MovingAverageDriver { public static void main(...

2018-02-01 17:04:26

阅读数 1363

评论数 0

《数据算法-Hadoop/Spark大数据处理技巧》读书笔记(三)——Order Inverse

这章的名称叫反转排序,应该说让人非常的迷惑。 这里我觉得一篇Blog对Order Inverse的解释更合理一些(http://blog.csdn.net/hadoop_mapreduce/article/details/39802287),根据这篇文章实际上Order Inverse的实质是由...

2018-01-30 14:36:54

阅读数 213

评论数 0

《数据算法-Hadoop/Spark大数据处理技巧》读书笔记(二)——TopN列表

大数据计算力经常要面对TopN的问题,也就是一个大集合里取排序后的前N个数据。 1.Key值唯一 ①MapReduce: 在Map中使用SortedMap完成每个节点的TopN操作,然后所有节点将数据汇聚到Reduce节点,再次使用SortedMap完成TopN操作,其中setup()中做初...

2018-01-29 14:33:15

阅读数 298

评论数 0

《数据算法-Hadoop/Spark大数据处理技巧》读书笔记(一)——二次排序

写在前面: 在做直播的时候有同学问Spark不是用Scala语言作为开发语言么,的确是的,从网上查资料的话也会看到大把大把的用Scala编写的Spark程序,但是仔细看就会发现这些用Scala写的文章绝大部分是初级内容,最常见的就是某一个API是怎么用的,很多都是拷贝粘贴的重复内容,真正深入的内...

2018-01-26 16:03:45

阅读数 1633

评论数 0

Spark学习阶段总结

学习Spark一段时间后,实际上是有些困惑的 如果说只针对数据操作的话,大部分算子都用过了,学习的成本并不高,因为之前是做Android开发的,所以感觉api方面好少,没有那么多东西需要掌握。但是实际上自己很清楚自己的水平,但是后续如何提升大概有几点想法。 1.相关的配置和使用,spark里面...

2018-01-25 15:26:23

阅读数 130

评论数 0

Spark开发中遇到的问题及解决方法

1.Windows下运行spark产生的Failed to locate the winutils binary in the hadoop binary path异常 解决方法: 1.下载winutils的windows版本   GitHub上,有人提供了winutils的win...

2018-01-16 15:38:16

阅读数 890

评论数 0

招聘网站技术类词频分析_第二版

目标: 大数据项目练习 需求: 从招聘网站上(暂定智联招聘)爬取招聘信息,通过词频统计,分析企业对IT人才需求 使用框架: 平台:阿里云 爬虫:scrapy https://docs.scrapy.org/en/latest/index.html 中文分词:HanLP中文分词 h...

2018-01-15 17:36:28

阅读数 321

评论数 0

大数据学习笔记(十八)-MRUnit

MapReduce是跑在集群上的,这就意味着MapReduce的作业很难被调试。当然可以采用Log输出的方式来查看,但是这样效率很低,也很难定位问题,因为要每次打包,上传,执行jar包。 所以本地Debug单步调试非常的重要,调试的方法是使用MRUnit 在maven中添加MRUnit的依赖 ...

2018-01-05 15:47:40

阅读数 105

评论数 0

大数据学习笔记(十七)-MapReduce

1.在MapReduce中被分成了两类,map操作和reduce操作,1个job是由若干次map操作和1次reduce操作组成的。 在MapReduce中,最重要的就是理解数据在处理时都是以Key/Value形式输入输出的(在数据初始读入时,也是以Key/Value形式读入的) 2.对map、...

2018-01-04 18:25:56

阅读数 236

评论数 0

招聘网站技术类词频分析_第一版

目标: 大数据项目练习 需求: 从招聘网站上(暂定智联招聘)爬取招聘信息,通过词频统计,分析企业对IT人才需求 使用框架: 平台:阿里云 爬虫:scrapy https://docs.scrapy.org/en/latest/index.html 中文分词:结巴中文分词 http...

2017-12-28 17:42:13

阅读数 222

评论数 0

大数据学习笔记(十六)-Hue的安装部署和使用

1.安装Hue的依赖sudo yum install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi gcc gcc-c++ krb5-devel libtidy libxml2-devel libxslt-devel make mvn mysql ...

2017-12-27 15:47:04

阅读数 215

评论数 0

大数据学习笔记(十五)-大数据调度框架

1.常用框架 crontab 存在的问题:单机的 Azkaban 开源的工作流框架,批处理 https://azkaban.github.io/ Oozie http://oozie.apache.org/

2017-12-27 14:11:48

阅读数 1510

评论数 0

需要用到的Linux命令

1.默认级别转换为3(文本模式) ln -sf /lib/systemd/system/multi-user.target /etc/systemd/system/default.target 2.或者默认级别转换为5(图形模式) ln -sf /lib/systemd/system/gra...

2017-12-25 15:48:33

阅读数 132

评论数 0

我用到的vi命令

vi命令: 1. i 进入输入模式,光标停留在当前位置 2. o 进入输入模式,插入新一行,光标位于新行行首 3. a 进入输入模式,光标位置向后移一位 4. nyy 拷贝从光标开始的n行 5. p 将复制的内容粘贴到光标下一行的位置 6. 输入模式下,:x保存退出 7...

2017-12-25 15:43:39

阅读数 77

评论数 0

提示
确定要删除当前文章?
取消 删除