qq1340520831-CSDN博客

原创 poi对Excel报表的自动化

工作中经常会有一些daily的报告，每次的格式都是一样的，来源也基本都是数据库的表，每次要自己去粘贴很麻烦。尝试过python以及sas等工具或者包，python的xlrd等系列不支持07以后的excel文件，openpyxl在替换数据后容易莫名的失去cell的格式，sas第一是收费，第二也是只支持03版本的excel。好在还是可以通过poi来处理。本篇主...

2018-03-15 17:07:28 497

原创 Spark2.1.0+Hadoop2.7.3关联规则平台（三）

第三部分主要是数据来源和web前端的开发数据来源以及处理数据来源于云音乐的爬虫，我们在分析的时候比较适合用id而不是歌曲的名字，另外用户在输入的时候也只会输入歌名而不会知道歌曲的id，所以我们首先要建立一个数据库负责处理歌曲与id之间的转换。另外一部分就是要存储歌单，每个歌单为一行，只存储歌曲的id。所以首先我们需要能爬取云音乐的歌单，然后一部分存储id到一个文件中，另一部分获取歌曲名

2017-05-08 18:24:25 336

原创 Spark2.1.0+Hadoop2.7.3关联规则平台（二）

Spark2.1.0+Hadoop2.7.3关联规则平台（二）继续上面的配置部分。（前面忘了写，每次配置环境变量后都要source使其生效）[zkpk@master zkpk]source /home/zkpk/.bash_profile```（2）配置Hadoop2.7.3Hadoop官方下载注意下载binary的版本，不然后面自己需要去编译。该部分配置在master上，配置好了以后发送到各

2017-05-08 16:55:45 1159

原创 Spark2.1.0+Hadoop2.7.3搭建关联规则分析算法（一）

Spark2.1.0+Hadoop2.7.3搭建关联规则分析算法（一）整个系统架是自己做的毕业设计的一个部分，记录在这个地方，也是记录下整个过程中学到的知识。整个文章会从零开始详细搭建一个带有JavaWeb数据显示的分析平台。首先前面说下整个系统的硬件：笔记本是8G内存，上面搭建两个虚拟机。虚拟机用CentOS先新建一个然后clone一个实体出来就可以。系统里面安装的Spa

2017-05-08 14:50:49 983

原创 python实现邮箱发邮件（qq邮箱为例）

首先要使用自己的邮箱开通STMP服务，具体操作可以百度，话不多说，直接贴代码，说明和注释都在代码里。# -*- coding: UTF-8 -*-import smtplibfrom email.mime.text import MIMETextfrom email.mime.multipart import MIMEMultipartimport thread_list = ['xxxxx

2017-03-09 03:52:57 1219

原创 Hadoop1.2.1安装经验

Hadoop1.2.1安装经验熬夜安装了一波Hadoop1.2.1，机器是CentOS的虚拟机，整理下收获吧。首先安装时因为版本比较老所以没有yarn_site.xml这个配置，所以最后也就不存在ResourceManager这个进程。在core-site.xml的配置中，tmp的位置尽量不要按默认的在Hadoop目录下的/tmp中，该配置关系到后面namenode能否启动。

2017-03-09 03:18:11 380

qq1340520831的博客