- 博客(6)
- 收藏
- 关注
原创 poi对Excel报表的自动化
工作中经常会有一些daily的报告,每次的格式都是一样的,来源也基本都是数据库的表,每次要自己去粘贴很麻烦。 尝试过python以及sas等工具或者包,python的xlrd等系列不支持07以后的excel文件,openpyxl在替换数据后容易莫名的失去cell的格式,sas第一是收费,第二也是只支持03版本的excel。好在还是可以通过poi来处理。 本篇主...
2018-03-15 17:07:28 506
原创 Spark2.1.0+Hadoop2.7.3关联规则平台(三)
第三部分主要是数据来源和web前端的开发数据来源以及处理 数据来源于云音乐的爬虫,我们在分析的时候比较适合用id而不是歌曲的名字,另外用户在输入的时候也只会输入歌名而不会知道歌曲的id,所以我们首先要建立一个数据库负责处理歌曲与id之间的转换。另外一部分就是要存储歌单,每个歌单为一行,只存储歌曲的id。 所以首先我们需要能爬取云音乐的歌单,然后一部分存储id到一个文件中,另一部分获取歌曲名
2017-05-08 18:24:25 345
原创 Spark2.1.0+Hadoop2.7.3关联规则平台(二)
Spark2.1.0+Hadoop2.7.3关联规则平台(二)继续上面的配置部分。(前面忘了写,每次配置环境变量后都要source使其生效)[zkpk@master zkpk]source /home/zkpk/.bash_profile```(2)配置Hadoop2.7.3Hadoop官方下载 注意下载binary的版本,不然后面自己需要去编译。该部分配置在master上,配置好了以后发送到各
2017-05-08 16:55:45 1172
原创 Spark2.1.0+Hadoop2.7.3搭建关联规则分析算法(一)
Spark2.1.0+Hadoop2.7.3搭建关联规则分析算法(一) 整个系统架是自己做的毕业设计的一个部分,记录在这个地方,也是记录下整个过程中学到的知识。整个文章会从零开始详细搭建一个带有JavaWeb数据显示的分析平台。 首先前面说下整个系统的硬件:笔记本是8G内存,上面搭建两个虚拟机。虚拟机用CentOS先新建一个然后clone一个实体出来就可以。系统里面安装的Spa
2017-05-08 14:50:49 991
原创 python实现邮箱发邮件(qq邮箱为例)
首先要使用自己的邮箱开通STMP服务,具体操作可以百度,话不多说,直接贴代码,说明和注释都在代码里。# -*- coding: UTF-8 -*-import smtplib from email.mime.text import MIMEText from email.mime.multipart import MIMEMultipart import thread _list = ['xxxxx
2017-03-09 03:52:57 1235
原创 Hadoop1.2.1安装经验
Hadoop1.2.1安装经验熬夜安装了一波Hadoop1.2.1,机器是CentOS的虚拟机,整理下收获吧。 首先安装时因为版本比较老所以没有yarn_site.xml这个配置,所以最后也就不存在ResourceManager这个进程。 在core-site.xml的配置中,tmp的位置尽量不要按默认的在Hadoop目录下的/tmp中,该配置关系到后面namenode能否启动。
2017-03-09 03:18:11 384
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人