![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Python
颠沛流漓
这个作者很懒,什么都没留下…
展开
-
scrapy-redis---------------------------直取豆瓣图书“狗头”
①:crawld 403拒绝访问解决: setting.py中加入user-agent ②: 正则表达式的获取 re.search() re.search函数会在字符串内查找模式匹配,只要找到第一个匹配然后返回,如果字符串没有匹配,则返回None re.S 会将这个字符串作为一个整体,将“\n” 换行当做一个普通的字符加入到这个字符串中...原创 2018-12-11 12:18:58 · 127 阅读 · 0 评论 -
Superset 安装使用及问题的排查处理
Superset是由Airbnb(知名在线房屋短租公司)开源BI数据分析与可视化平台(曾用名Caravel、Panoramix),该工具主要特点是可自助分析、自定义仪表盘、分析结果可视化(导出)、用户/角色权限控制,还集成了一个SQL编辑器,可以进行SQL编辑查询等,原来是用于支持Druid的可视化分析,后面发展为支持很多种关系数据库及大数据计算框架,如:mysql, oracle, Postgr...原创 2019-03-28 09:43:14 · 1856 阅读 · 1 评论 -
协同过滤算法始末记录
测试环境:mysql 5.7.25python 3.6.5本机 内存16G一 、原始数据准备1.sql准备抽样测试 原始数据(txt格式)因数据量巨大(单日10G),不适合于算法初期阶段。故将数据进行抽样获取样例数据进行分析之后再用于原始数据。利用txt分割工具分割为100份,选取其中1份作为kettle原始数据进行处理,去掉无意义字段,抽样获取10000行原始...原创 2019-05-31 15:10:59 · 309 阅读 · 0 评论 -
基于docker创建apline版本jupyter-server及应用
话不多说,上dockerfilefrom alpineRUN echo "http://mirrors.aliyun.com/alpine/v3.9/main/" > /etc/apk/repositoriesRUN apk updateRUN apk upgradeRUN apk add --no-cache python3 python3-dev gcc opens...原创 2019-06-11 11:01:43 · 638 阅读 · 0 评论 -
如何实现快速将多个csv文件转为excel文件
如何实现快速将多个csv文件转为excel文件最近在公司上班遇到了20多个csv文件对比,如此棘手的工作,难不成要打开20个excel去看么,不可能。悄悄写了点python代码,emmmmm 上代码import os,csv,xlwtdir = 'C:\\Users\\Administrator\\Desktop\\123'os.chdir(dir)wb = xlwt.Workbo...原创 2019-08-16 15:46:32 · 3738 阅读 · 0 评论