寸草心的博客

业精于勤荒于嬉,行成于思毁于随
私信 关注
寸草心2130
码龄5年

致力于轻微改变世界

  • 930,113
    被访问量
  • 190
    原创文章
  • 5,967
    作者排名
  • 115
    粉丝数量
  • 毕业院校 河南理工大学
  • 目前就职 甜橙融资租赁（上海）有限公司
  • 于 2016-07-06 加入CSDN
获得成就
  • 获得300次点赞
  • 内容获得119次评论
  • 获得883次收藏
荣誉勋章
兴趣领域
  • #大数据
    #hive
TA的专栏
  • python
    65篇
  • Linux
    16篇
  • Django
    15篇
  • 爬虫
    16篇
  • javascript
    8篇
  • CSS
    3篇
  • Sqlite3
    7篇
  • flask
    4篇
  • github
    1篇
  • 服务器
    5篇
  • web开发
    2篇
  • 计算机硬件
    5篇
  • redis
    1篇
  • html
    1篇
  • 机器学习
    2篇
  • 数据分析
    8篇
  • 操作系统
    4篇
  • 计算机软件
    5篇
  • 自然语言处理(NLP)
    1篇
  • 自动化测试
    5篇
  • 数据结构
    1篇
  • jupyter notebook
    3篇
  • nginx
    3篇
  • Docker
    3篇
  • MySql
    14篇
  • Apache
    1篇
  • 数据挖掘
    3篇
  • markdown
    1篇
  • SQL
    20篇
  • 互联网金融
    3篇
  • Excel
    6篇
  • Pandas
    1篇
  • 最近
  • 文章
  • 资源
  • 问答
  • 课程
  • 帖子
  • 收藏
  • 关注/订阅

Excel VLOOKUP函数多条件查找

公式写法=VLOOKUP(条件一&条件二&...，IF({1,0},条件一区域&条件二区域&...，返回列）,2,0）例：结果：公式：=VLOOKUP(F2&G2,IF({1,0},A2:A4&B2:B4,C2:C4),2,0)把多个条件用excel中的&拼接起来，同时查找区域第一列也是用&拼接起来，这个可以用两个辅助列来实现，比较麻烦。上面公式利用if函数，把查找区域作为内存数组返回，省去辅助列。if函数部分详解：h
原创
368阅读
0评论
2点赞
发布博客于 8 月前

利用chrome浏览器reses插件拦截指定js并替换为本地js

1.chrome浏览器下载安装reses插件2.配置reses拦截规则点击添加规则，然后对应位置填入需要拦截的js地址，和本地js地址，然后保存
原创
826阅读
0评论
0点赞
发布博客于 9 月前

Navicat执行大文件SQL脚本往mysql数据库导入数据失败解决办法

失败原因：超过mysql允许的最大数据包解决方案在mysql安装目录下的my.ini文件中加入下面代码（参数根据自已的需要）max_allowed_packet=1000Mwait_timeout=288000interactive_timeout = 288000修改完重启下mysql...
原创
760阅读
0评论
0点赞
发布博客于 10 月前

Excel通过身份证号提取出生年月日（生日）/计算截至当前年龄

第一步=MID(B3,7,8)第二步=TEXT(C3,"0-00-00")或者=TEXT(C3,"0年00月00日")第三步=DATEDIF(D3,TODAY(),"Y")三合一=DATEDIF(TEXT(MID(B3,7,8),"0-00-00"),TODAY(),"Y")
原创
868阅读
0评论
0点赞
发布博客于 10 月前

Excel获取当前文件所在目录

=LEFT(CELL("filename",A1),FIND("[",CELL("filename",A1))-1)或者=REPLACE(CELL("filename"),FIND("[",CELL("filename"))-1,99,)
原创
1197阅读
0评论
0点赞
发布博客于 1 年前

ORACLE左连接丢记录

原因：在左连接中 where后不能有其他表的条件过滤 否则就不是单纯的左连接 是过滤连接了解决：把条件加到 on 后面select a.*,b.mm,b.nn from aaaaa aleft join bbbbb b on ( trim(a.num)=trim(b.num) and b.cc = '11')...
原创
302阅读
0评论
0点赞
发布博客于 2 年前

oracle count()函数对null值的处理

count()括号中如果是列名的话则不包含NULL如果是*字符或常量 则包括NULL
原创
1737阅读
0评论
0点赞
发布博客于 2 年前

图像二值化处理提高pytesseract识别精度

# 识别前处理# 图片二值化from PIL import Imageimport osos.chdir('D:\OCR')img = Image.open('test.png') # 模式L”为灰色图像，它的每个像素用8个bit表示，0表示黑，255表示白，其他数字表示不同的灰度。Img = img.convert('L')Img.save("test1.png") # 自...
原创
2342阅读
1评论
1点赞
发布博客于 2 年前

oracle 分组后获取每组中某字段最大的记录

SELECT a."RN",a."ID",a."USERCODE",a."LOGINTIME",a."BZ",a."DQCODE" FROM (SELECT ROW_NUMBER() OVER(PARTITION BY usercode ORDER BY logintime DESC) rn,sys_userlogin_info.* FROM sys_userlogin_i...
原创
699阅读
0评论
0点赞
发布博客于 2 年前

python 图片二值化处理（处理后为纯黑白的图片）

# 图片二值化from PIL import Imageimg = Image.open('test.jpg') # 模式L”为灰色图像，它的每个像素用8个bit表示，0表示黑，255表示白，其他数字表示不同的灰度。Img = img.convert('L')Img.save("test1.jpg") # 自定义灰度界限，大于这个值为黑色，小于这个值为白色threshold =...
原创
7748阅读
1评论
1点赞
发布博客于 2 年前

windows 10环境下安装Tesseract-OCR与python集成

windows 10环境下安装Tesseract-OCR与python集成前言Tesseract是一个开源的ocr引擎，可以开箱即用，项目最初由惠普实验室支持，1996年被移植到Windows上，1998年进行了C++化。在2005年Tesseract由惠普公司宣布开源。2006年到现在，都由Google公司开发。官网宣传目前支持100多种语言的识别，根据我的测试，目前感觉其对机器打印的比较...
原创
1535阅读
0评论
1点赞
发布博客于 2 年前

Pandas 中 SettingwithCopyWarning 的原理和解决方案

Pandas 中 SettingwithCopyWarning 的原理和解决方案原文链接：https://www.dataquest.io/blog/settingwithcopywarning/原文标题：Understanding SettingwithCopyWarning in pandas原文发布时间：5 JULY 2017（需要注意时效性，文中有一些方法已经弃用，比如 ix）学...
原创
789阅读
0评论
2点赞
发布博客于 2 年前

用sql语句实现年龄分段统计

SELECT CASEWHEN (age >= 10 AND age <= 20) THEN '10-20'WHEN (age >= 21 AND age <= 30) THEN '21-30'ELSE '30-'END 'eag_layer', count(*) empsFROM address_bookGROUP B...
原创
2034阅读
0评论
0点赞
发布博客于 2 年前

EXCEL没有重复操作

如果你用EXCEL时进行重复操作，那么你就是技巧不够。去学习
原创
126阅读
0评论
0点赞
发布博客于 2 年前

Excel数据透视表多个行标签并列显示设置方法

Excel数据透视表多个行标签并列显示设置方法方法/步骤点击透视表任意单元格右键选择数据透视表选项，点击“显示”。勾选“经典数据透视表布局”点击确定，点击任意单元格。点击设计-分类汇总-不显示分类汇总，设置完毕。...
原创
13159阅读
0评论
1点赞
发布博客于 2 年前

在Excel中快速选择数据

在Excel中快速选择数据很多人对于Excel怎么选择数据可能只有一个方法，那就是按住鼠标直接拖拽，不可否认，选择小部分数据的时候，这是最快的方法，但是要是很多数据呢，几千条甚至几万条，我要从第一条到最后一条的时候，你也要直接拖拽吗？你不眼花吗？当然不能这样做！接下来我会介绍几个快捷键，对你选择数据绝对事半功倍。1. Ctrl + 向下的方向键：直接移动到最低端，同理+向上的方向键，向左...
原创
654阅读
0评论
1点赞
发布博客于 2 年前

信用评分模型中的滚动率分析

信用评分模型中的滚动率分析信用风险模型的目标是识别出应被拒之门外的潜在坏客户，因此给出合理的客户好坏分类是建模的基础。比如，信用卡逾期的“坏客户”，究竟应该是所有逾期过的客户，还是逾了好几期的客户呢？前者是不是还能抢救一下，后者是不是风险太高？本期就来讲讲如何用科学的方法，判断你的客户还能不能抢救一下。信用风险模型，简单地说就是通过历史数据，抓取坏客户显著区别于正常客户的特征，并以此为标...
原创
1392阅读
0评论
0点赞
发布博客于 2 年前

Vintage、滚动率、迁移率的应用

Vintage、滚动率、迁移率的应用一、Vintage​ Vintage源于葡萄酒酿造，葡萄酒的品质会因葡萄生长的年份不同、气候不同而不同。Vintage分析是指评估不同年份的葡萄酒的品质随着窖藏时间的推移而发生的变化，并且窖藏一定年份后，葡萄酒的品质会趋于稳定。如下图，2000年的葡萄酒品质最好，窖藏5年左右，葡萄酒品质会趋于稳定。借鉴葡萄酒Vintage分析，信用分析领域不仅...
原创
3026阅读
1评论
2点赞
发布博客于 2 年前

SQL自定义排序

方法一：比如需要对SQL表中的字段NAME进行如下的排序：张三（Z）李四（L)王五（W）赵六（Z）按照sql中的默认排序规则，根据字母顺序（a~z）排，结果为：李四 王五 赵六 张三自定义排序：order by charindex（NAME，‘张三李四王五赵六’）CHARINDEX函数返回字符或者字符串在另一个字符串中的起始位置。CHARINDEX函数调用方法如下：CHARIN...
原创
2685阅读
1评论
0点赞
发布博客于 2 年前

ORACLE自定义顺序排序

利用decode函数：select * from table_example order by decode(class,'C',1,'A',2,'D',3,'B',4)
原创
753阅读
0评论
0点赞
发布博客于 2 年前

sql left join多表

sql left join多表表A---------------------------------关联第一张表B-----------------------关联第二张表cselect * fomr 表名A　　left join 表B on 表A字段=表B的id 　　left join 表c 　on 表A字段=表c的id...
原创
282阅读
0评论
0点赞
发布博客于 2 年前

Oracle报错：不是单组分组函数解决

Oracle报错：不是单组分组函数解决报错：不是单组分组函数实例：select deptno,count(empno) from emp;报错：不是单组分组函数原因：1， 如果程序中使用了分组函数，则有两种情况可以使用：程序中存在group by，并指定了分组条件，这样可以将分组条件一起查询出来改为：select deptno,count(empno) from emp grou...
原创
1613阅读
0评论
1点赞
发布博客于 2 年前

解读:信贷业务风控逾期指标及风控模型评估指标

<解读>信贷业务风控逾期指标及风控模型评估指标一、互联网金融中需要关注的风控逾期指标1.逾期天数 DPD (Days Past Due)自应还日次日起到实还日期间的日期数举例：DPDN+表示逾期天数 >=N天，如DPD30+表逾期天数 >=30天的合同2.逾期期数自应还日次日起到实还日期间的日期数举例：正常资产用C表示Mn表示逾期N期:M1逾期一期,M2逾...
原创
5245阅读
0评论
0点赞
发布博客于 2 年前

Presto时间和日期函数及运算符、日期时间比较

日期和时间运算符运算符例子结果+date ‘2012-08-08’ + interval ‘2’ day2012-08-10+time ‘01:00’ + interval ‘3’ hour04:00:00.000+timestamp ‘2012-08-08 01:00’ + interval ‘29’ hour2012-08-09 06:00:00...
原创
34420阅读
1评论
2点赞
发布博客于 2 年前

关闭/卸载windows10安全中心及Windows Denfender方法，亲测有效

1.win键+R 进入cmd输入regedit 回车2.在注册表里找到如下项目并更改安全中心HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\SecurityHealthServicestart值 2开启 4关闭windows defenderHKEY_LOCAL_MACHINE\SOFTWARE\Policies\Micro...
原创
60094阅读
3评论
3点赞
发布博客于 2 年前

数据分析必备技能

原创
491阅读
0评论
0点赞
发布博客于 2 年前

Presto查询结果保留小数后面位数的方法

Presto中两个整数相除会结果为零当我们相除的两个数都为整数时，比如我想用两个count（）结果相除，想保留n为小数实现方法select count(*)*1.00 / count(*) from student;结果就会自动保留两位小数，想要n位就1.后面n个零...
原创
5129阅读
0评论
1点赞
发布博客于 2 年前

SQL Union、Union all、Intersect、Minus作用

Union因为要进行重复值扫描，所以效率低。如果合并没有刻意要删除重复行，那么就使用Union All两个要联合的SQL语句 字段个数必须一样，而且字段类型要“相容”（一致）；如果我们需要将两个select语句的结果作为一个整体显示出来，我们就需要用到union或者union all关键字。union(或称为联合)的作用是将多个结果合并在一起显示出来（竖向合并，横向合并可以使用le...
原创
294阅读
0评论
0点赞
发布博客于 2 年前

SQL--变量

SQL-变量变量1.系统变量： 全局变量：作用域：服务器每次启动将为所有的全局变量赋初始值， 针对于所有的的会话（连接）有效，但不垮重启。 会话变量：仅仅针对当前的会话（连接）有效2.自定义变量： 用户变量 局部变量一. 系统变量即该变量由系统提供，不是用户定义，属于服务层面...
原创
164阅读
0评论
0点赞
发布博客于 2 年前

Presto 除法/运算结果为0的原因及解决方法+cast用法

Presto 除法/运算结果为0的原因及解决方法当我想统计一个数据比例使用/ 结果为0，加号数据正常：语法：select sum(case when storecode = '15' then 1 else 0 end) / count(1) from orders;但是同样的语句在hive中执行是ok的在presto中：两个value相除，至少有一个为浮点数才能返回正确结果sele...
原创
6092阅读
0评论
3点赞
发布博客于 2 年前

Vintage分析和迁移率模型在网贷行业的运用

Vintage 分析和迁移率模型在网贷行业的运用网贷业务的核心竞争力来自收益与风险之间平衡点的把握，其收到消费理念、市场策略、市场消费环节影响，贯穿于产品设计、营销审批、授信、支用、还款、催收以及客户服务的全过程。风控偏好和市场竞争策略会导致不同机构的经营结果存在差异。面对纷繁复杂的竞争环境，网贷机构必须不断提高风险的监控能力才能立于不败之地。  由于网贷业务的特点，用户的借款行为和还款表现具...
转载
1715阅读
0评论
4点赞
发布博客于 2 年前

网页转换成markdown

经自己发现网页只需要选中内容，右键复制 然后粘贴到 markdown工具Typora中即可保留原格式网页粘贴到Typora
原创
5158阅读
0评论
3点赞
发布博客于 2 年前

SQL查询去除重复行

可能会碰到以下几种重复情况：1.存在部分字段相同的纪录，即有唯一键主键ID(最常见情况）如果是这种情况的话用distinct是过滤不了的，这就要用到主键id的唯一性特点及group by分组（通过重复字段分组，只取重复行中的一个id达到不重复）select * from table where id in (select max(id) from table group by 重复的字段名1...
原创
9292阅读
0评论
1点赞
发布博客于 2 年前

Presto--数组函数和运算符

数组函数和运算符下标运营商：[]的[]操作者用于访问的阵列的元件和被索引从1开始：SELECT my_array [ 1 ] AS first_element连接运算符：||的||操作者用来连接与数组或相同类型的元素的数组：SELECT ARRAY [ 1 ] || ARRAY [ 2 ]; - [1,2] SELECT ARRAY [ 1 ] || 2...
原创
6032阅读
1评论
1点赞
发布博客于 2 年前

Presto查询结果添加自增字段（唯一id）

SELECT Row_Number() over () as id , * FROM 表名(或者查询语句)
原创
1987阅读
0评论
0点赞
发布博客于 2 年前

SQL查询结果自己添加一列自增字段

自行添加一列连续自增的ID，可用如下查询语句： （presto可用，亲测）SELECT Row_Number() over ( ) as init , * FROM 表名或使用关键字IDENTITY创建临时表SELECT IDENTITY(int,1,1) as Nid,* INTO #T FROM 表名 SELECT * FROM #T...
原创
12145阅读
0评论
0点赞
发布博客于 2 年前

sql语句实现行转列的3种方法

前言一般在做数据统计的时候会用到行转列，假如要统计学生的成绩，数据库里查询出来的会是这样的，但这并不能达到想要的效果，所以要在查询的时候做一下处理。CREATE TABLE TestTable( [Id] [int] IDENTITY(1,1) NOT NULL, [UserName] [nvarchar](50) NULL, [Subject] [nvarchar](50) NULL...
原创
27270阅读
1评论
5点赞
发布博客于 2 年前

sql的行转列(PIVOT)与列转行(UNPIVOT)

在做数据统计的时候，行转列，列转行是经常碰到的问题。case when方式太麻烦了，而且可扩展性不强，可以使用 PIVOT，UNPIVOT比较快速实现行转列，列转行，而且可扩展性强一、行转列1、测试数据准备CREATE TABLE [StudentScores]( [UserName] NVARCHAR(20), --学生姓名 [Subject]...
原创
1252阅读
0评论
0点赞
发布博客于 2 年前

presto官方文档0.1(中文)和0.2(英文)

presto中文文档0.1presto英文文档0.2
原创
2240阅读
0评论
1点赞
发布博客于 2 年前

SQL函数Group_concat用法

完整语法如下group_concat([DISTINCT] 要连接的字段 [Order BY ASC/DESC 排序字段] [Separator '分隔符'])SELECT * FROM testgroup表结构与数据如上现在的需求就是每个id为一行 在前台每行显示该id所有分数group_concat 上场！！！SELECT id,GROUP_CONCAT(score) FRO...
原创
33871阅读
5评论
20点赞
发布博客于 2 年前

Mysql中的group_concat在Presto和Redshift中的替代语法

Mysqlselect a, group_concat(b separator ',')from tablegroup by aPrestoselect a, array_join(array_agg(b), ',')from tablegroup by aRedshiftselect a, listagg(b, ',')from table...
原创
3578阅读
0评论
2点赞
发布博客于 2 年前

markdown实现首行缩进、空格的两种方法

由于markdown语法主要考虑的是英文，所以对于中文的首行缩进并不太友好，两种方法都可以完美解决这个问题。把输入法由半角改为全角。 两次空格之后就能够有两个汉字的缩进。在开头的时候，先输入下面的代码，然后紧跟着输入文本即可。分号也不要掉。语法效果语法半方大的空白&ensp;或&#8194;全方大的空白&emsp;或&#81...
原创
4602阅读
0评论
1点赞
发布博客于 2 年前

vintage、迁移率、滚动率、入催率、FPD概念

  随着互联网金融的发展，对数据分析的需求越来越大。数据分析的目的其实是为了找到风险和收益的平衡点。高收益伴随着高风险，而低风险的回报又如同鸡肋。所以，太高的风险，太低的收益都不行。平衡点通俗来讲就是风险在控制范围之中，收益也可以接受。为了找到平衡点，我们通常会计算许多风控指标，这些风控指标是什么意思，他们有什么作用，我们挑几个金融领域比较常用的指标说说。1、vintage  vintage这...
原创
9767阅读
0评论
4点赞
发布博客于 2 年前

SQL Date 函数

SQL Date 函数
原创
733阅读
0评论
1点赞
发布博客于 2 年前

case when then 中的条件里面加上 and or 的写法

case when then 中的条件里面加上 and or 的处理方式写法1：case when (u.sex <> 1 and u.sex <> 2) then 1 else 0 end写法2,去掉括号：case when u.sex <> 1 and u.sex <> 2 then 1 else 0 end...
原创
12832阅读
0评论
1点赞
发布博客于 2 年前

SQL之case when then用法

case具有两种格式。简单case函数和case搜索函数。--简单case函数case sex when '1' then '男' when '2' then '女’ else '其他' end--case搜索函数case when sex = '1' then '男' when sex = '2' then '女' else '其他' end 这两种...
原创
359阅读
0评论
0点赞
发布博客于 2 年前

DELL戴尔笔记本电脑找不到或没有DELL触摸板时关闭触摸板方法

笔记本的触摸板经常会由于不经意碰到，影响打字方法/步骤控制面板>>硬件和声音>>鼠标>>硬件>>Dell Touchpad>>属性>>改变设置>>驱动程序>>禁用...
原创
11750阅读
0评论
0点赞
发布博客于 2 年前

简述关系型数据库和非关系型数据库

当前数据库分为关系型数据库和非关系型数据库关系型数据库关系型数据库：指采用了关系模型来组织数据的数据库。关系模型指的就是二维表格模型，而一个关系型数据库就是由二维表及其之间的联系所组成的一个数据组织。关系模型中常用的概念：关系：一张二维表，每个关系都具有一个关系名，也就是表名元组：二维表中的一行，在数据库中被称为记录属性：二维表中的一列，在数据库中被称为字段域：属性的取值范...
原创
1193阅读
0评论
4点赞
发布博客于 2 年前

MySQL入门

MySQL入门数据库简介用途：用于存储生活的一切数据，如：身份、住房、车票、网站、…概念：数据库服务器、数据库、数据表、一行数据(一条)、一列数据(字段)分类：关系型数据库：MySQL、oracle、SQL Server、…非关系数据库：Redis、MongoDB、…SQL：Structured Query Language，结构化查询语言命令：数据定义语言(DDL)：...
原创
557阅读
0评论
5点赞
发布博客于 2 年前

MySQL中使用LIMIT进行分页的方法

一：分页需求：客户端通过传递start(页码)，pageSize(每页显示的条数)两个参数去分页查询数据库表中的数据，那我们知道MySql数据库提供了分页的函数limit m,n，但是该函数的用法和我们的需求不一样，所以就需要我们根据实际情况去改写适合我们自己的分页语句，具体的分析如下：比如：查询第1条到第10条的数据的sql是：select * from table limit 0,10;...
原创
342阅读
0评论
0点赞
发布博客于 2 年前

影响你生活的14个心理效应

影响你生活的14个心理效应1、野马效应吸血蝙蝠吸取野马的血为食，但所吸的血量极少，远不足以使野马死去，野马的死因是暴怒和狂奔。 因芝麻小事而大动肝火，以致因别人的过失而伤害自己。很多时候，我们要想明白到底为了什么而生气和焦虑，不要因别人的过失而伤害自己。2、聚光灯效应有时我们总不经意地把自己的问题放到无限大，当我们出丑时总以为人家会注意到，其实人家或许当时会注意到，但事后马上就忘了。 没有...
原创
132阅读
0评论
1点赞
发布博客于 2 年前

Python数据挖掘过程之数据探索

数据探索根据观测、调查收集到初步的样本数据集后， 接下来要考虑的问题是：样本数据集的数量和质量是否满足模型构建的要求？是否出现从未设想过的数据状态？其中有没有什么明显的规律和趋势？各因素之间有什么样的关联性？通过检验数据集的数据质量、绘制图表、计算某些特征量等手段， 对样本数据集的结构和规律进行分析的过程就是数据探索。数据探索有助于选择合适的数据预处理和建模方法，甚至可以完成一些通常由数...
原创
459阅读
0评论
0点赞
发布博客于 2 年前

Python数据分析之NumPy（axis=0 与axis=1）区分

Python之NumPy（axis=0 与axis=1）区分python中的axis究竟是如何定义的呢？他们究竟代表是DataFrame的行还是列？考虑以下代码：import pandas as pddf = pd.DataFrame([[1, 1, 1, 1], [2, 2, 2, 2], [3, 3, 3, 3]], columns=["col1", "col2", "col3", ...
原创
233阅读
0评论
2点赞
发布博客于 2 年前

Python常用数据分析工具

Python数据分析工具Python 本身的数据分析功能不强，需要安装一些第三方扩展库来增强它的能力。常用的库有Numpy 、Scipy 、Matplotlib 、Pandas 、Scikit-Learn 、Keras 和Gensim 等，下面将对这些库的安装和使用进行简单的介绍。如果你安装的是Anaconda 发行版，那么它已经自带了以下库： Numpy 、Scipy 、Matplot...
原创
3573阅读
0评论
0点赞
发布博客于 2 年前

as_matrix() 报错FutureWarning: Method .as_matrix will be removed in a future version. Use .values inst

as_matrix()报错FutureWarning: Method .as_matrix will be removed in a future version. Use .values instead根据提示：把as_matrix()改为values即可
原创
4289阅读
0评论
3点赞
发布博客于 2 年前

数据挖掘建模过程

数据挖掘建模过程1.定义挖掘目标2.数据取样明确挖掘目标之后，取样本数据集标准：相关性可靠性有效性样本并非是全部数据：减少数据处理量节省系统资源使规律性更加凸显出来注意：一定要好严格控制取样质量标准资料完整无缺，各类指标齐全。数据准确无误， 反映的都是正常（而不是异常） 状态下的水平对获取的数据， 可再从中进行抽样操作。 抽样的方式是多种...
原创
1180阅读
0评论
0点赞
发布博客于 2 年前

fake-useragent常用的三个参数

# 禁用服务器缓存：ua = UserAgent(use_cache_server=False)# 不缓存数据：ua = UserAgent(cache=False)# 忽略ssl验证：ua = UserAgent(verify_ssl=False)默认都是True
原创
395阅读
0评论
0点赞
发布博客于 2 年前

Pycharm设置自动换行显示

只对当前文件有效的操作：菜单栏 -> View -> Active Editor -> Use Soft Wraps；如果想对所有文件都有效，就要在setting里面进行操作：File -> Setting -> Editor -> General -> Use soft wraps i...
原创
3493阅读
0评论
1点赞
发布博客于 2 年前

阿里云下载完nginx的ca证书后nginx配置ssl证书实现https访问

1，nginx的安装目录为：/usr/local/nginx。进入目录，在conf文件夹下增加cert/文件夹，把刚刚下载的两个文件上传到cert/文件夹中。cert权限改成7752.修改nginx的conf下的nginx.conf配置解释一下,这里就是你原来配置好的conf,只需要把server 监听端口改为443,然后把下面ssl开头那几行(ssl配置代码)的添加进去,最后在太添加最后面...
原创
361阅读
1评论
0点赞
发布博客于 2 年前

Nginx安装SSL模块

一、引言当我们的Linux服务器上当中发布了web项目，有时候需要配置一个SSL证书，来使用https,然而我们一开始编译的Nginx的时候并没有把SSL模块一起编译进去.二、如何补装SSL模块既然在安装的时候没有编译ssl，难道把nginx卸载重新安装一次？不不不，我们只需要在原有的基础上添加ssl模块就行了。步骤一：我们先来到当初下载nginx的包压缩的解压目录.步骤二：来到解压目录...
原创
10914阅读
1评论
2点赞
发布博客于 2 年前

Hyper-Docker-Android模拟器-VMware在windows10之间的恩怨情仇

故事开启前先挨个自我介绍Hyper-VHyper-V是微软的一款虚拟化产品，是微软第一个采用类似Vmware和Citrix开源Xen一样的基于hypervisor的技术。这也意味着微软会更加直接地与市场先行者VMware展开竞争，但竞争的方式会有所不同。Hyper-V是微软提出的一种系统管理程序虚拟化技术，能够实现桌面虚拟化DockerDocker 是一个开源的应用容器引擎，让开发者可...
原创
1598阅读
1评论
0点赞
发布博客于 2 年前

Appium定位Android元素与操作

一、常用识别元素的工具uiautomator：Android SDK自带的一个工具，在tools目录下monitor：Android SDK自带的一个工具，在tools目录下Appium Inspector：Appium自带的一个功能，只有mac下可以使用该功能下面是用monitor抓取到的页面元素二、元素定位1.格式：find_element_by_定位方式(value)通过...
原创
1809阅读
0评论
1点赞
发布博客于 2 年前

Appium报错Command failed: C:\Windows\system32\cmd.e...adb.exe -s 16fcb2be shell "ps 'uiautomat

appium目前最新的windows版本是1.4.16，在真机上测试程序时会报错：selenium.common.exceptions.SessionNotCreatedException: Message: A new session could not be created. (Original error: Command failed: C:\Windows\system32\cmd...
原创
2203阅读
5评论
5点赞
发布博客于 2 年前

解决Appium报错Message: A new session could not be.Original error: Requested a new session but one was in

解决Appium报错Requested a new session but one was in progress报错信息如下：selenium.common.exceptions.SessionNotCreatedException: Message: A new session could not be created. (Original error: Requested a new s...
原创
1157阅读
0评论
0点赞
发布博客于 2 年前

WebDriverException: Message: A new session could not be created...without first uninstalling报错解决

环境介绍：1、appium版本：1.4.16.12、真机运行实现结果：运行appium第一次运行则安装Appium settings和Unclock的apk，再次之后的运行则无需手动卸载，再次安装。问题描述：第一次：Android手机运行appium，自动安装Appium settings和Unclock的apk，第二次：第一次运行完毕，若不手动删除已经安装的Appium set...
原创
411阅读
0评论
0点赞
发布博客于 2 年前

selenium.common.exceptions.SessionNotCreatedException: Message: A new session could not be created.

在用appium启动网易新闻时报错Traceback (most recent call last): File "D:/onedriver/OneDrive/python/python爬虫/appium/test.py", line 11, in <module> driver = webdriver.Remote('http://127.0.0.1:4723/wd/h...
原创
2659阅读
0评论
0点赞
发布博客于 2 年前

adb查看android手机设备型号、品牌、机型等信息

1.型号adb shell getprop ro.product.model2.品牌机型等详细信息adb devices -l
原创
3992阅读
0评论
0点赞
发布博客于 2 年前

带你认识Scrapy框架

1.scrapyScrapy，Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等。通常我们可以很简单的通过 Scrapy 框架实...
原创
125阅读
0评论
0点赞
发布博客于 2 年前

Scrapy response获取当前页url和url补全

获取当前页urlurl = response.body_as_unicode()补全urlurl = response.urljoin(url)这样就能在url前拼接上https:
原创
8191阅读
0评论
0点赞
发布博客于 2 年前

Python读取相对路径文件

例如下图目录结构:第一种情况：1）xxx.py想要打开a.txt，使用相对路径，有如下两种方式：思路：xxx.py想打开的是b_file下的文件，XXX.py和b_file都在文件目录之下，两者是同级目录，因此操作就是在当前目录向下搜索，因此就可以很容易理解下面的意思了特别提示：… \是错误的，打开的是上级目录with open(r"b_file\a.txt","r"...
原创
18131阅读
0评论
8点赞
发布博客于 2 年前

反爬虫之利用chrome的debug模式破解不允许selenium模拟的网站

原因: 我们利用selenium爬取很多网站都很方便,但是有的网站如知乎和淘宝会检测selenium.这些网站如果直接通过selenium打开网站,selenium会携带一些指纹信息,如:window.navigator.webdriver网站js通过检测类似的指纹信息,可以检测到你在使用自动化工具,就不让你登录解决:这时我们可以利用chrome的远程调试结合selenium来遥控chr...
原创
6706阅读
6评论
6点赞
发布博客于 2 年前

ubuntu18.04无法联网解决

停止sudo service network-manager stop备份sudo cp /var/lib/NetworkManager/NetworkManager.state /var/lib/NetworkManager/NetworkManager.state.bak删除sudo rm /var/lib/NetworkManager/NetworkManager.state ...
原创
14272阅读
11评论
16点赞
发布博客于 2 年前

MySQL5.7 添加用户/删除用户/授权/设置密码/更改密码/删除用户/查看授权

一. 创建用户:命令:CREATE USER 'username'@'host' IDENTIFIED BY 'password';例子: CREATE USER 'dog'@'localhost' IDENTIFIED BY '123456';CREATE USER 'dog2'@'localhost' IDENTIFIED BY '';PS：username - 你将创建的用户名...
原创
213阅读
0评论
0点赞
发布博客于 2 年前

ubuntu下重置mysql密码/mysql忘记密码

1）：编辑mysqld.cnf文件sudo vi /etc/mysql/mysql.conf.d/mysqld.cnf2）：在文件中的skip-external-locking一行的下面添加一行：skip-grant-tables3）：重启MySQL服务sudo service mysql restart4）：终端输入mysql进入MySQL，输入USE mysql切换至mysq...
原创
313阅读
0评论
0点赞
发布博客于 2 年前

Django项目报错django.db.utils.OperationalError: (1045, "Access denied for user 'root'@'localhost'

settings里面密码设置正确,我去mysql试了下正确密码也进不去了,有人说是mysql加密方式导致密码出错了,所以只能重置密码了ubuntu下重置mysql密码/mysql忘记密码...
原创
2613阅读
2评论
0点赞
发布博客于 2 年前

将python项目部署到Docker

1.拉取python3.6镜像docker image pull python:3.62.找一个目录创建test目录,目录下创建一个打印hello world的python flask项目作为例子cd testsudo vim main.py内容如下from flask import Flaskfrom flask import Flask, render_template,...
原创
4766阅读
1评论
2点赞
发布博客于 2 年前

Docker镜像操作/Docker容器操作/Docker将容器保存为镜像/Docker镜像备份与迁移

1.Docker安装2. Docker启动与停止安装完成Docker后，默认已经启动了docker服务，如需手动控制docker服务的启停，可执行如下命令# 启动dockersudo service docker start# 停止dockersudo service docker stop# 重启dockersudo service docker restart3.Doc...
原创
612阅读
0评论
2点赞
发布博客于 2 年前

ubuntu/linux安装nginx

nginx安装：1.下载nginxsudo wget http://nginx.org/download/nginx-1.15.0.tar.gz2.解压tar -xvf ./nginx-1.15.0.tar.gz//解压 cd nginx-1.15.0 //进到目录下sudo ./configuresudo makesudo make install...
原创
155阅读
0评论
1点赞
发布博客于 2 年前

ubuntu/linux安装docker并使用国内加速

1.安装在 Ubuntu 中快速安装 Docker更新ubuntu的apt源索引sudo apt-get update安装包允许apt通过HTTPS使用仓库sudo apt-get install \ apt-transport-https \ ca-certificates \ curl \ software-properties-common...
原创
3728阅读
0评论
1点赞
发布博客于 2 年前

django报错ImportError:cannot import name 'indexes' from 'haystack'

原因:haystack版本不匹配,降级haystack为0.3版本pip install haystack==0.3
原创
351阅读
0评论
1点赞
发布博客于 2 年前

django报错No module named 'rest_framework_jwt'/python安装rest_framework_jwt

解决办法pip install djangorestframework-jwt
原创
4121阅读
0评论
0点赞
发布博客于 2 年前

白话大数据与机器学习pdf高清

作者: 高扬 / 卫峥 / 尹会生 出版社: 机械工业出版社 出版年: 2016-6 页数: 329 定价: 69 装帧: 平装 ISBN: 9787111538479 本书通俗易懂，有高中数学基础即可看懂，同时结合大量案例与漫画，将高度抽象的数学、算法与应用，与现实生活中的案例和事件一一做了关联，将源自生活的抽象还原出来，帮助读者理解后，又带领大家将这些抽象的规律与算法应用于实践，贴合读者需求。同时，本书不是割裂讲解大数据与机器学习的算法和应用，还讲解了其生态环境与关联内容，让读者更全面地知晓渊源与未来，是系统学习大数据与机器学习的不二之选： ·大数据产业解读一一剖析产业情况，人才供需、职业选择与相应“武器”库； ·步入大数据之门一一解读数据、信息、算法，以及与大数据应用的关系； ·大数据基石一一结合大量示例和漫画，趣味讲解大数据算法应掌握的数学知识，无障碍学习； ·大数据算法奥义——信息论、向量空间、回归、聚类、分类等最为核心的算法的释义与应用，举重若轻； ·大数据热门应用——关联分析、用户画像、推荐算法、文本挖掘、人工神经网络等最实用、最需要了解的应用的原理与实现； ·大数据主流框架一一介绍了主流的大数据框架(Hadoop、Spark和Cassandra)； ·系统架构与调优一一从速度与稳定性方面给出调优的一般性“内功心法”； ·大数据价值与变现一一从运营指标、AB测试、大数据价值与变现场景多维度解读。
zip
发布资源于 2 年前

src // 的意思/src相对协议/src为//开头的图片怎么加载

“相对协议”，也就是链接以 // 开头，前面省去了 http: 或 https: 字样，这样做的好处是浏览器能够根据你的网站所采用的协议来自动加载 CDN 上托管的文件！爬虫项目里抓取的图片为//开头的可以查看下图片加载开头是http:还是https,添加上即可访问图片,也可以两个都试试....
原创
2313阅读
1评论
0点赞
发布博客于 2 年前

计算Python Numpy向量之间的欧氏距离

计算Python Numpy向量之间的欧氏距离，已知a和b是两个Numpy向量，欧氏距离计算如下：# 给numpy起一个别名 npimport numpy as npa = np.array([1, 1])b = np.array([1, 6])# 这个是直接用欧式距离公式直白写法dist = np.sqrt(np.sum(np.square(a - b)))# numpy自带求...
原创
9782阅读
0评论
1点赞
发布博客于 2 年前

中文报错SyntaxError: Non-UTF-8 code starting with '\xe6' in file

处理代码最上面加上编码格式#coding:utf-8
原创
38065阅读
7评论
22点赞
发布博客于 2 年前

获取真实手机(android)软件的包名和活动名

命令：adb shell dumpsys window Windows | findstr /I current如图，命令结果中包名就是当前界面对应的包名，“/”之后的是当前界面对应的activity。
原创
1957阅读
0评论
0点赞
发布博客于 2 年前

Python多版本管理-pyenv

经常遇到这样的情况:系统自带的Python是2.x，自己需要Python 3.x,此时需要在系统中安装多个Python，但又不能影响系统自带的Python,即需要实现Python的多版本共存,pyenv就是这样一个Python版本管理器。1.安装pyenv：1.>安装依赖包:yum install zlib-devel bzip2-devel openssl-devel ncurse...
原创
67阅读
0评论
0点赞
发布博客于 2 年前

python3中处理汉字出现SyntaxError: Non-UTF-8 code starting with '\xb3' in file解决

加上# coding=gbk即可如果是其他编码格式等号后面加其他编码
原创
7019阅读
0评论
2点赞
发布博客于 2 年前

python3中的for---else语句之打印100以内的素数(质数)

要写这个程序,首先要学习两个概念1.质数（prime number）又称素数，有无限个。质数定义为在大于1的自然数中，除了1和它本身以外不再有其他因数2.python中 for else的用法:for循环中只要不被break终止,就会执行else的语句当 for 循环被 break 中断后，其后的 else 语句就不执行了def prime_number(): #...
原创
2033阅读
0评论
0点赞
发布博客于 2 年前

斐波那契数列python3的递归(不推荐)与非递归实现(重要)

１.斐波那契问题最简单的是递归实现，python3默认最大递归深度为998,可以通过sys.setrecursionlimit(设置的次数)来设置最大递归深度,但是递归效率太低,所以不推荐,仅供了解def feibonacci(n): if n <=2: return 1 else: return feibonacci(n-1) + fei...
原创
6029阅读
0评论
2点赞
发布博客于 2 年前

装饰器实现计算函数的运行时间

何为装饰器装饰器其实就是一个函数，该函数有一个参数(函数类型)，返回一个闭包在返回的闭包中调用传递进来的函数，然后在调用函数的前后就可以添加内容作用：当需要改变一个函数原有的功能时，但是不想/不能改变原来的函数，可以通过装饰器解决计算函数执行时间的装饰器import functoolsimport timedef run_time(fn): @functools....
原创
1491阅读
0评论
2点赞
发布博客于 2 年前

一只青蛙一次可以跳一级或二级台阶，请问跳n级台阶有多少次跳法之斐波那契数列的非递归写法

对于这个问题前三次都好算分别为1,2,3次,后面多的话不好简单计算当第n级台阶时,因为青蛙只能跳一级或二级台阶,所以第n级只有两种方法跳过来,即,从前一级(n-1)或前两级(n-2),所以调到这两级的方法加起来即为n级方法总数现在构成斐波那契数列(fěi bō nà qì shù liè)注意这个是斐波那契的变种，斐波那契为　１　１　２　３　５　８现在这个问题为　　　　　　　 ...
原创
6922阅读
0评论
0点赞
发布博客于 2 年前

shell 获取当前用户名/ID的两种方法

# 获取idecho “$UID”# 获取用户名echo “$USER”# 获取idid# 获取用户名whoami
原创
2406阅读
0评论
0点赞
发布博客于 2 年前

shell脚本获取当前日期和时间

Linux的系统时间在shell里是可以直接调用系统变量的如：获取今天时期：date +%Y%m%d 或 date +%F 或 $(date +%y%m%d)命令输出结果如下：[root@centi-C sh]# date +%Y%m%d 20190322[root@centi-C sh]# date +%F 2019-03-22 [root@centi-C sh]# date +%...
原创
10472阅读
0评论
3点赞
发布博客于 2 年前

Django 修改superuser密码

如果忘记了django的admin的密码，而数据库中的auth_user中关于密码的字段是经过加密的，这个时候你就可以通过django的命令来直接修改admin的密码1 方法一这个方法是用过shell命令方式对密码进行修改的，使用如下的命令：python manage.py shell from django.contrib.auth.models import User ...
原创
1817阅读
0评论
0点赞
发布博客于 2 年前

装完deepin系统在第二张硬盘中不能默认deepin引导

安装了第五个系统deepin在第二块硬盘，机械硬盘中，在bios里面调了机械盘为第一启动还是不行，手动进入机械盘可以启动deepin引导。之前 Boot mode 为Legacy supportBoot Priorlty 改为 legacy first就可以了...
原创
2477阅读
0评论
0点赞
发布博客于 2 年前

Python统计列表元素出现次数

1. 引言在使用Python的时候，通常会出现如下场景：array = [1, 2, 3, 3, 2, 1, 0, 2]获取array中元素的出现次数比如，上述列表中：0出现了1次，1出现了2次，2出现了3次，3出现了2次。本文阐述了Python获取元素出现次数的几种方法。点击获取完整代码。2. 方法获取元素出现次数的方法较多，这里我提出如下5个方法，谨供参考。下面的代码，传入...
原创
9734阅读
1评论
3点赞
发布博客于 2 年前

sklearn.datasets.fetch_20newsgroups的下载速度极慢采用离线下载导入

1.下载文件20newsbydate.tar.gz链接：https://pan.baidu.com/s/1a0vQ4OIxpvKtc_rxLVKxvQ提取码：40m92.有文件了, Python 怎么读取啊？？？文件名是 20newsbydate.tar.gz在此说明如下:fetch_20newsgroups函数将下载的文件放在C:\Users(你的user_name)\scikit...
原创
4425阅读
7评论
4点赞
发布博客于 2 年前

jupyter notebook配置默认目录

1、打开 cmd 输入命令 jupyter notebook --generate-config可以看到生成文件的路径，这个就是生成的配置文件jupyter_notebook_config.py按照这个路径找到配置文件并打开2、打开后找到 c.NotebookApp.notebook_dir 删除前面的’#‘ 然后填写自己的路径，保存,启动 jupyter notebook...
原创
1886阅读
0评论
1点赞
发布博客于 2 年前

远程访问jupyter notebook windows平台设置

jupyter notebook是一个基于浏览器的python数据分析工具，使用起来非常方便，具有极强的交互方式和富文本的展示效果。jupyter是它的升级版，它的安装也非常方便，一般Anaconda安装包中会自带。安装好以后直接输入jupyter notebook便可以在浏览器中使用。但是它默认只能在本地访问，如果想把它安装在服务器上，然后在本地远程访问，则需要进行如下配置：1. Win+R打...
原创
1536阅读
2评论
1点赞
发布博客于 2 年前