anmo1221的博客

做励志少年

通过StructType直接指定Schema

Spark SQL能够将含Row对象的RDD转换成DataFrame,并推断数据类型。通过将一个键值对(key/value)列表作为kwargs传给Row类来构造Rows。key定义了表的列名,类型通过看第一列数据来推断。(所以这里RDD的第一列数据不能有缺失)未来版本中将会通过看更多数据来推断数...

2018-04-07 17:16:20

阅读数 2175

评论数 0

通过反射推断Schema

使用反射来推断包含特定对象类型的RDD的模式(schema)。适用于写spark程序的同时,已经知道了模式,使用反射可以使得代码简洁。结合样本的名字,通过反射读取,作为列的名字。这个RDD可以隐式转化为一个SchemaRDD,然后注册为一个表。表可以在后续的sql语句中使用。代码实现:packag...

2018-04-07 16:33:21

阅读数 184

评论数 0

linux系统时间每次开机都不一致的问题

问题导读:使用date -s修改过时间,可是每次开机后时间都不对。 貌似还是有规律的,总是会比windows系统时间慢两个小时左右。原因分析:网上查资料后发现,linux系统时间和硬件时间不一致引起的。解决方法:查看系统时间:hwclock 查看硬件时间:hwclock --localtime发现...

2018-03-27 09:28:42

阅读数 2602

评论数 1

oozie官方案例

首先安装配置完oozieoozied.sh start在后台运行步骤:1、在oozie的根目录下找到oozie-examples.tar.gzoozie-examples.tar.gz2、解压:[hadoop@hadoop002 oozie-4.0.0-cdh5.3.6]$ tar -zxvf o...

2018-03-26 22:11:09

阅读数 362

评论数 0

启动hive时报错Access denied for user 'root'@'hadoop01' (using password: YES)

将hive的元数据存放数据库由derby改为Mysql后启动时,报错信息如下Caused by: java.sql.SQLException: Access denied for user 'root'@'hadoop01' (using password: YES)该错误信息为权限问题或者密码问...

2018-01-23 23:31:59

阅读数 3388

评论数 0

oozie 4.3.0 编译安装

本文章转载至http://blog.csdn.net/u010839779/article/details/79124124,感谢博主 Oozie的编译: 系统需求: Unix box (tested on Mac OS X and Linux) Java JDK 1....

2018-01-22 18:17:54

阅读数 102

评论数 0

网络爬虫Scrapy框架入门

一、安装Scrapy 首先是安装Scrapy,当然还是pip大法了。 但是安装过程中会报错,原因是缺少pywin32,可下载相对应python版本的。下载链接 下载之后点击.exe程序运行安装。安装完pywin32,便可以安装Scrapy。pip install Scrapy 之后可以验证一下: ...

2017-09-06 15:00:03

阅读数 226

评论数 0

python爬虫之pymysql库的使用(1)

首先自己的电脑上或服务器上要有MySQL数据库,可以是各种产品软件。 另外自己要会数据库的基本操作,创建数据库、创建表、添加数据、修改数据、删除数据、查询数据等,可以用SQL语句去操作,也可以用图形化界面去操作,不过SQL语句还是要掌握的,比较重要。 在进行网络数据采集时,处理Unic...

2017-09-05 11:24:02

阅读数 369

评论数 0

python爬虫之pymysql库的使用(2)

要想使用pymysql库,要先安装,因为这是第三方库。 同样,可使用pip大法。安装过程就不说了,比较简单。 下面通过实例来说明这个库和爬虫的结合使用: from urllib.request import urlopen from bs4 import BeautifulSoup import ...

2017-09-05 11:13:39

阅读数 155

评论数 0

BeautifulSoup库之find、findAll和children、descendants

BeautifulSoup库提供了一些方法和属性去解析HTML,将HTML页面映射成一棵树。 一、其中findAll函数通过标签的名称和属性来查找标签,返回一个列表 例如: from urllib.request import urlopen from bs4 import Beautifu...

2017-09-02 11:22:02

阅读数 2606

评论数 0

windows下安装BeautifulSoup4

刚开始是有点小生气的,看了网上一些别人的安装教程,按照步骤下载BeautifulSoup4,然后安装,结果毫无意外的失败了 我就试了一下pip安装,出现以下提示: Requirement already satisfied: beautifulsoup4 in c:\users\anmo\ap...

2017-08-31 18:11:52

阅读数 3274

评论数 1

matplotlib学习之scatter函数--绘制散点图

import matplotlib.pyplot as plt import matplotlib as mpl mpl.rcParams['font.sans-serif']=['SimHei'] #指定默认字体 SimHei为黑体 mpl.rcParams['axes.unicode_min...

2017-08-31 15:33:33

阅读数 392

评论数 0

matplotlib学习之scatter()函数--颜色印射

import matplotlib.pyplot as plt import matplotlib as mpl mpl.rcParams['font.sans-serif']=['SimHei'] #指定默认字体 SimHei为黑体 mpl.rcParams['axes.unicode_min...

2017-08-31 15:16:49

阅读数 4508

评论数 0

matplotlib绘图之中文标题、坐标轴标签乱码问题

import matplotlib.pyplot as plt import matplotlib as mpl # 解决中文乱码问题 #sans-serif就是无衬线字体,是一种通用字体族。 #常见的无衬线字体有 Trebuchet MS, Tahoma, Verdana, Arial, H...

2017-08-31 14:55:01

阅读数 4812

评论数 0

matplotlib学习之plot函数

plot函数可以绘画折线图等,参数: linestyle:线条类型  marker :折点(数据集中每个点)  color :线条颜色  linewidth :线条宽度  label :该线条的标签,需要配合legend函数才能显示, legend函数可以定义线条的标签(名字)放在图表的哪个地方...

2017-08-31 11:32:27

阅读数 206

评论数 0

微信小程序之this.setData

Page.prototype.setData()setData 函数用于将数据从逻辑层发送到视图层,同时改变对应的 this.data 的值。注意:直接修改 this.data 无效,无法改变页面的状态,还会造成数据不一致。单次设置的数据不能超过1024kB,请尽量避免一次设置过多的数据。setD...

2017-02-08 12:39:49

阅读数 29744

评论数 0

微信小程序之基本配置

1、pages 接受一个数组,每一项都是字符串,来指定小程序由哪些页面组成。每一项代表对应页面的【路径+文件名】信息,数组的第一项代表小程序的初始页面。小程序中新增/减少页面,都需要对 pages 数组进行修改。 文件名不需要写文件后缀,因为框架会自动去寻找路径.json,.js,...

2017-02-08 12:26:11

阅读数 300

评论数 0

微信小程序

小程序包含一个描述整体程序的 app 和多个描述各自页面的 page。 一个小程序主体部分由三个文件组成,必须放在项目的根目录,如下: 一个小程序页面由四个文件组成,分别是:

2017-02-08 11:58:14

阅读数 220

评论数 0

探测对象以及用链接对用户进行重定向

一、探测对象 在编写脚本时,可能希望检查浏览器是否有能力理解你要使用的对象。进行这种检查的方法叫  对象探测。 例如: window.onload=initAll; function initAll() { if (document.getElementById) { ale...

2016-11-14 17:24:28

阅读数 310

评论数 0

适当处理错误(捕获异常)

JS里的捕获异常和其他语言几乎是一样的,也是用的try、throw和catch 用一个例子来说明一下: window.onload=initAll; function initAll() { var ans=prompt("Enter a number!"...

2016-11-14 13:51:19

阅读数 249

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭