滇沛流漓的博客

原创 容器化时代：Docker搭建开发环境的最佳实践！

写在前面：docker安装自行百度；部分目录自行创建一、docker 安装redis下载redis默认配置文件wget https://raw.githubusercontent.com/antirez/redis/5.0/redis.conf配置文件redis.conf 修改 (改之前备份默认配置)注释 bind 127.0.0.1protected-mode yes 修改成 protected-mode no添加 requirepass yourpassword执行命令docker

原创 Bootstrap-fileinput插件处理详情过程

fileinput插件处理详情过程：跨域删除问题​ 使用springBoot框架添加注解@CrossOrigin多文件删除相关回调方法格式如下 }).on('xxx', function(event, id, index) {}具体相关方法解释： filepreremove ------附件信息还未上传到服务器，附件移除回调方法 fileremove...

原创 如何实现快速将多个csv文件转为excel文件

如何实现快速将多个csv文件转为excel文件最近在公司上班遇到了20多个csv文件对比，如此棘手的工作，难不成要打开20个excel去看么，不可能。悄悄写了点python代码，emmmmm 上代码import os,csv,xlwtdir = 'C:\\Users\\Administrator\\Desktop\\123'os.chdir(dir)wb = xlwt.Workbo...

原创 高效编程助手：VSCode插件让你事半功倍！

一款你用了就停不下来的软件，丰富的插件库然后给你的手下不是在敲代码，是在创造。。。哈哈哈哈

原创 基于docker创建apline版本jupyter-server及应用

话不多说，上dockerfilefrom alpineRUN echo "http://mirrors.aliyun.com/alpine/v3.9/main/" > /etc/apk/repositoriesRUN apk updateRUN apk upgradeRUN apk add --no-cache python3 python3-dev gcc opens...

原创 协同过滤算法始末记录

测试环境：mysql 5.7.25python 3.6.5本机 内存16G一 、原始数据准备1.sql准备抽样测试 原始数据（txt格式）因数据量巨大（单日10G），不适合于算法初期阶段。故将数据进行抽样获取样例数据进行分析之后再用于原始数据。利用txt分割工具分割为100份，选取其中1份作为kettle原始数据进行处理，去掉无意义字段，抽样获取10000行原始...

原创 Superset 安装使用及问题的排查处理

Superset是由Airbnb（知名在线房屋短租公司）开源BI数据分析与可视化平台（曾用名Caravel、Panoramix），该工具主要特点是可自助分析、自定义仪表盘、分析结果可视化（导出）、用户/角色权限控制，还集成了一个SQL编辑器，可以进行SQL编辑查询等，原来是用于支持Druid的可视化分析，后面发展为支持很多种关系数据库及大数据计算框架，如：mysql, oracle, Postgr...

原创 on duplicate key update 处理

mysql 批量数据存在即更新 不存在新增insert into `user` ( id, name, gender, birthday, address )values( 1, '张三', 1, '2021-02-14', '黑龙江' ) on duplicate key update name =values(name),gender =values(gender),birthday =values(birthday),address =values(address)...

原创 hive笔记----函数、练习等

hive特有数据类型array数组创建表create table t_movie (movie string,actor array<STRING>,first_show_date string)ROW FORMAT DELIMITED FIELDS TERMINATED BY ','COLLECTION ITEMS TERMINATED BY ':';判断取值sele...

原创 基于CDH6.2kylin2.6.2安装部署

kylin安装前提是CDH6.2需要正常安装，hbase、hive、hdfs、spark(虽然官网是说spark可选安装，但是在kylin启动脚本中包含对spark环境的检测，所以建议CDH添加spark服务)需要正常启动，且没有报错信息影响。安装kylin过程中，需要切换到hdfs用户下去安装，不可以用root管理员。hdfs用户默认是不可登录的，需要处理下：usermod ...

原创 Hive脱坑之路----------错误修改笔记

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:An exception was thrown while adding/validating class(es) : You have an error in your SQL synt...

原创 centos7.5 yum部署docker 进行分布式scrapy框架爬虫

一、环境安装配置安装centos7.5镜像 官网下载。https://www.centos.org/download/ 配置网络保证yum正常安装依赖包yum-utils、 device-mapper-persistent-data、lvm2sudo yum install -y yum-utils device-mapper-persistent-data lvm2安装do...

原创 ubuntu 18.04 纯笔记

原创 scrapy-redis---------------------------直取豆瓣图书“狗头”

①：crawld 403拒绝访问解决： setting.py中加入user-agent ②: 正则表达式的获取 re.search()      re.search函数会在字符串内查找模式匹配,只要找到第一个匹配然后返回，如果字符串没有匹配，则返回None re.S             会将这个字符串作为一个整体，将“\n” 换行当做一个普通的字符加入到这个字符串中...

原创 千万不要被pyquery的方便所蒙蔽了双眼-----新坑

pyquery竟然无法像jquery一样很方便的去筛选dom节点。经过一番排查发现：对于class类名，pyquery依然可以方便的获取节点，但是当使用如：a，div，img...等原生标签时，无论如何都获取不到节点。其实问题就出在 pyquery默认解析后的文档是xmlns格式，而这种格式就是造成无法获取原生标签的原因。doc = pq(browser.page_source...

原创 python基础 -----------花式玩转list

一、嵌套列表list合并  并且去重！！！！话不多说  直接上图！！！！想要两个列表合并之后并去重  参见代码zip是将两个list作为元组对象进行合并 ！！！重点！py2和py3有区别  py3使用zip之后返回的是一个zip对象 想要看到其中的内容 需要list(c)才可以。# c = [['a',1,11],['b',2,12]]a = [['a',1],['b',...

原创 scrapy框架-------------------------------------------------------坑里爬来爬去

1.涉及到pymysql的数据连接编码格式设定如果是utf-8格式的，请必须设置为charset="utf8" (不要问凌晨三点的我怎么知道的)self.db = pymysql.connect(self.host,self.user,self.password,self.database,charset="utf8",port=self.port)...

原创 pywifi的简单使用和测试破解方法

import pywififrom pywifi import constdef gic(): wifi = pywifi.PyWiFi() ifaces = wifi.interfaces()[0] print(ifaces.status()) print(const.IFACE_CONNECTED) #已连接 print(const.IFACE...

转载 Xpath手册

http://www.cnblogs.com/thinhunan/archive/2006/10/11/525947.html

原创 TOP100 必看的电影你错过了吗？

话不多说 上代码：from urllib import request,parseimport reimport xlwt'''表格文件设置'''#标题的字体样式设置font_title = xlwt.Font()font_title.name = u'幼圆'font_title.colour_index = 0x31font_title.bold = True#标题的字...

转载 所有换行匹配 -----------------------------干货（纯手打）

正则类：[\s\D]*    匹配换行和空格   今天想使用正则表达式来获取一段文本中的任意字符。于是很随意得就写出如下匹配规则： (.*) 结果运行之后才发现，无法获得换行之后的文本。于是查了一下手册，才发现正则表达式中，“.”(点符号)匹配的是除了换行符“\n”以外的所有字符。同时，手册上还有一句话：要匹配包括 '\n' 在内的任何字符，请使用像 '[.\n]' 的模式。 ...

转载 python xlwt使用干货整理

python 3.6.5   xlwt 1.3.0一、官方简单实例import xlwtfrom datetime import datetime style0 = xlwt.easyxf('font: name Times New Roman, color-index red, bold on',num_format_str='#,##0.00')style1 = xlwt.e...

原创 centos7 python3 小白攻略

1.默认安装的centos7 不能yum vi /etc/resolv.conf配置文件添加search localdomainnameserver 8.8.8.82. linux make 报错 make: *** No targets specified and no makefile found.  Stop.1.yum install gcc-c++ -y2.wget http:...