- 博客(17)
- 收藏
- 关注
RSS订阅
原创 通过多任务队列爬虫，爬取Github commits api数据，并写入数据库
需求通过python执行Kusto数据库query，获取到当前最新的指定的Repo list，在获取到的Repo list中，爬取每个Repo下的所有的当前月份的commits数据，将获取到的json格式数据解析，存储在接口文件中，然后将其存入数据库中。path_app_branch.pyimport datetimeimport timeimport os# 使用局部变量方法导入，控制资源部分导入# __all__ = ['path_file_1','path_file_2','path
2020-08-14 23:06:05
597
原创 Git，cmd，PowerShell执行git命令行的区别，及通过Python调用实现批量拉取。
python调用gitpython/cmd执行git命令行的区别，及PowerShell调用git的区别需求：只拉取某Repo下的md文件和yml文件· git实现-echo后面的目标文件必须要加’'引号cd \cd D:\testmkdir repo_filecd repo_filegit initgit remote add origin https://github.com/microsoftdocs/oufr-dev-docs.gitgit config core.sparsech
2020-08-13 18:36:19
631
原创 Python_协程详解
协程可以很完美的处理IO密集型的问题，但是处理CPU密集型并不是他的长处。要充分发挥CPU的性能，可以结合多进程+多线程的方式。Python并没有提供协程的相关模块和包，需要手动下载：pip install gevent代码如下：from gevent import monkeymonkey.patch_all()import geventfrom gevent.queue import Queueimport requestsurls = ["URL1","URL2","URL3"
2020-09-24 13:58:03
287
原创 Python_多进程详解
如果想要充分地使用多核CPU的资源，在Python中大部分情况需要使用多进程。Python提供了multiprocessing（无需安装）。代码如下：import multiprocessingimport timedef music(): for i in range(3): print("我在唱第{}首歌".format(i)) time.sleep(2)def dance(): for i in range(3): pr
2020-09-24 13:26:20
257
原创 Python_多线程详解
Python提供了两个模块来实现多线程thread 和threading，区别就是threading 在thread基础上进行了优化，所以我们一般直接学习threading 就可以了（无需安装包）。代码如下：import threadingimport timedef music(): for i in range(3): print("我在唱第{}首歌".format(i)) time.sleep(2)def dance(): for i
2020-09-24 13:15:06
213
原创 如何删除GitHub上不需要的Repository
欢迎访问我的GitHub主页登录自己的GitHub账号，点击右上角头像图标，点击自己的账号进入主页。点击Repositories（也叫Repo，存储库，也叫仓库）选择自己不需要的Repositories，点击进入点击 setting进入Option 选项在Option 选项中下拉到最下面的Danger Zone模块里选择Delete this Repository根据提示，输入你要删除的Repository名称，进行确认，点击 I understand the consequenc
2020-09-22 16:57:40
273
原创 如何使用Git将本地文件上传到GitHub
欢迎访问我的GitHub主页一、GitHub上的准备工作：创建一个新的仓库来存储本地数据登录自己的GitHub账号，点击右上角头像图标，点击自己的账号进入主页。点击Repositories（也叫Repo，存储库，也叫仓库）新建一个Repositories给你的Repositories命名，添加一个描述，选择Public（GitHub开源精神的体现，- -||| ，主要是因为Private是付费服务），勾选Add a README file，然后点击Create repository进入到
2020-09-22 16:38:46
227
原创 python如何通过pip安装cv2这个包
网上看到好几个文章都是写pip install python-opencv，结果都是找不的合适的版本，其实只要换个顺序就好了：安装pip install opencv-python卸载pip uninstall opencv-pythonBingo~
2020-09-22 13:29:23
404
原创 从搜索量来看近年来Python，Java，R，C#，PHP等语言的发展趋势
下来看一张图，这张图展示了2011年-2020年中，各种语言被检索的次数的变化趋势，可以看出Python近三年来一枝独秀，杀出重围了，但是这并不代表其他语言不好。在选择学习Java还是Python编程语言之前，得明白自己学习的目的是什么？是打算进入互联网行业做开发，还是打算朝着大数据、人工智能方向发展？接下来我们来看一看这些语言的区别：一、Java作为全球占比最高的开发语言，Java已经有 20 多年的历史 ，被全世界数以百万计的开发者使用。一直以来，Java都是作为编程语言界的扛把子存在。Jav
2020-09-16 16:02:56
416
1
转载 SQL Server 和 Oracle 以及 MySQL 的区别
先来看一张图，截止到2006年，每种数据库的下载安装量的发展趋势：MySQL的爆发实际是在01、02年，尤其是02年发布的4.0 Beta版，正式选定InnoDB作为默认引擎，对事务处理能力及数据缓存能力有了极大的提高。同年4.1版开始支持子查询，至此MySQL终于蜕变成一个成熟的关系型数据库系统。05年的5.0版本又添加了存储过程、服务端游标、触发器、查询优化以及分布式事务功能，但同年被Oracle抄了后路，InnoDB被Oracle收编。08年，MySQL被Sun收购，09年，Oracle收购了Su
2020-09-16 14:34:51
936
原创 Tableau 与 Power BI的比较
接下来将从以下6个方面讨论Tableau和Power BI的区别第一回合 视觉呈现和易用性第二回合 数据准备第三回合 数据建模第四回合 生态系统第五回合 产品与服务费用第六回合 安全控制最后第一回合 视觉呈现和易用性结论：Tableau胜出Tableau被誉为“数据挖掘时代的梵高”，用Tableau做出来的报表从美学视角上看效果很不错。Tableau的报表设计理论是有很深厚的学术理论做背书的，无论是色彩搭配还是图形精致度都是首屈一指的出众，用Tableau做出的图表效果都很精美。Tableau产品在
2020-09-08 17:10:16
7499
3
原创 knn算法的原理和实现流程及在sklearn中调用knn算法
knn算法的原理和实现流程import numpy as npfrom matplotlib import pyplot as pltraw_data_X = [[3.3935, 2.3312], [3.1101, 1.7815], [1.3438, 3.3684], [3.5823, 4.6792], [2.2804, 2.8670], [7.4234, 4.
2020-08-27 23:54:14
885
原创 python链接mysql数据库
import pymysql# 打开 #第一件事conn = pymysql.connect(host="rm-2ze0u172x2a69w5h6qo.mysql.rds.aliyuncs.com", port=3306, user="aura", password="zgbLZTgs" # 如果需要在某一数据库中查
2020-08-27 23:35:00
203
转载 python实现100个常用算法
python100个常用算法！本文转自Github Python 100个常用算法."""实例001：数字组合题目 有四个数字：1、2、3、4，能组成多少个互不相同且无重复数字的三位数？各是多少？程序分析 遍历全部可能，把有重复的剃掉。"""total=0for i in range(1,5): for j in range(1,5): for k in range(1,5): if ((i!=j)and(j!=k)and(k!=i)):
2020-08-27 23:27:31
1649
原创 python计算平均数、众数、中位数、极差、方差、标准差……
第一步：加载数据源-手动输入需要统计的数据def num(a): if float(a) == int(a): return int(a) return float(a)#添加数据li = []print("请逐条添加数据！ （若退出请输入0000）")while True: print("请输入:") x = input() if x == "0000": break li.append(num(float(x))
2020-08-27 23:03:54
13075
原创 python调用gitpython，遇到gitpython库不支持的复杂命令或个性命令时的解决方案
需求在执行git log命令时，git中支持诸如：git log --pretty=format:"%H,%an,%cd" “D:\your_target_file_path”> D:/test/log_data/log.csv，但是当我们希望通过python批量拉取自定义repo的时候，我们发现gitpython时，并不支持这类非常规命令（如果有知道如何使用非常规命令的小伙伴在评论区指出），这个时候我们可以通过python+cmd的思路来解决这个问题。Git_Log.pyimport sub
2020-08-16 10:00:22
457
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人