python
hani1990
编程人生
展开
-
macos 升级到11 big sur 后pycharm 闪退
因为要安装xcode, 升级到11 big sur,然后pycharm打开就闪退原因是pycharmjdk 版本太低的原因。pycharm2020 版本的jdk 是pycharm 自带的,不再使用系统的jdk 了。cd /Application/PyCharm.app/Contents/jbr 这个目录下就是jdk.我的系统带的jdk版本为15, pycharm是openjdk。首先删除 rm -rf /Application/PyCharm.app/Contents/jbr/C...原创 2021-08-10 11:06:54 · 1759 阅读 · 0 评论 -
《python高性能》学习笔记--- 第7章 并行处理 第8章分布式处理
第7章并行处理python库 multiprocessingCython和openMP 使用多线程进行并行编程Theano和Tensorflow自动实现并行性第8章分布式处理Dask distributed 实现分布式并行算法PySpark原创 2021-07-01 09:43:33 · 153 阅读 · 0 评论 -
《python高性能》学习笔记--- 第6章 实现并发性
并发是一种实现系统同时处理多个请求的方式,其基本理念是在等待资源期间可着手处理其他的资源。并发的工作原理:将任务划分为可不按顺序执行的子任务,而无需等到前面的子任务完成。1、回调函数2、future3、事件循环4、asyncio 框架5、协程6、响应式编程7、多进程...原创 2021-06-30 19:17:19 · 169 阅读 · 0 评论 -
《python高性能》学习笔记--- 第5章 探索编译器
1、 Numba这是一个库,它在运行阶段使用低级虚拟机(LLVM)工具链堆python函数进行编译numba的中文教程https://apachecn.gitee.io/numba-doc-zh/#/2、PyPy项目,旨在改善python解释器的性能,这是通过在运行阶段自动编译速度缓慢的代码实现的。官网https://www.pypy.org/...原创 2021-06-30 16:25:03 · 92 阅读 · 0 评论 -
《python高性能》学习笔记--- 第3章 第4章
第三章讲 用NumPy和pandas执行数组操作,这方面的教程网上很多。第四章讲 使用Cpython获得C语言性能Cpython 能够将Python 脚本编译成高效的C语言代码。在不做任何修改的情况下Cpython就能编译大部分python模块。请新建一个名为hello.pyx的文件,并在其中输入如下代码。def hello(): print('Hello, World!')下面的cython命令读取文件hello.pyx,并生成文件hello.c。$ cython hello.pyx.原创 2021-06-30 15:52:32 · 90 阅读 · 0 评论 -
《python高性能》学习笔记--- 第2章 纯粹的python优化
这章主要介绍一些python的标准库。1、有用的算法和数据结构列表和双端队列bisect 模块 --- 在有序数组中进行快速查找字典字典可以高效的计算列表中独特元素的个数for item in items: counter[item] += 1collections.defaultdict 生成一个字典,并给每个新键自动指定一个默认值。集无序元素集合,且其中的每个元素都必须是独一无二的。堆堆事一种设计用于快速查找并提取集合中最大值和最小值的数据结构...原创 2021-06-30 15:25:07 · 105 阅读 · 0 评论 -
《python高性能》学习笔记--- 第1章
基准测试与剖析研究高性能之前要先找到计算运行时间的方法.1、linux的time 命令time python test.pyreal 0m1.051s: 从头到尾运行进程实际花费的时间user 0m1.022s :在计算期间,所有CPU话费的时间sys 0m0.028s : 在执行与系统相关的任务(如内存分配)期间,所有CPU花费的总时间。time 为Linux的命令,所以这种办法可以与语言无关。2、python 的 timeit 模块为了测量python脚本的执行时..原创 2021-06-30 14:07:20 · 73 阅读 · 0 评论 -
《编写整洁的python代码》学习笔记---第3章 好代码的一般特征+第4章SOLID原则
这两章主要站在软件设计的角度来分析如何写出好的代码。写出好的代码比写出代码更加重要,因为,代码必然会遇到后期的维护、扩展的问题,好的代码易于维护和扩展。怎么样区分什么是好的代码什么是差的代码呢?那就要看代码是否符合接下来要介绍的一般性的软件设计原则。原则方面的是建议,不是一定要这么做,但是这么做了带来的好处多于坏处为什么不这么做呢?SOLIDS: Single Responsibility Principle 单一职责原则O: Open/Closed Principle 打开/关闭原则L:原创 2021-04-07 15:26:35 · 123 阅读 · 1 评论 -
《编写整洁的python代码》学习笔记--第1章简介、代码格式和工具+第2章python风格代码
这一章主要讲python代码的格式问题,可以上网搜一下 python 的 PEP-8规范,了解下 Black , Pylint, Mypy 等几个工具如何使用。这里的建议是使用 pycharm这个IDE工具,然后安装pylint 工具,可以自动做代码规范检测。为什么要用python风格来编写代码?1、每种语言有都有自己的习惯用法,遵循某种语言的习惯用法编写的代码性能更好2、代码更加紧凑,更容易理解3、团队开发使用相同的代码模式和结构,团队效率更高索引和切片python..原创 2021-04-07 13:22:37 · 142 阅读 · 2 评论 -
《编写整洁的Python代码》目录
简介、代码格式和工具 python风格代码 好代码的一般特征 SOLID原则 用装饰器改进代码 用描述符从个对象中获取更多信息 使用生成器 单元测试和重构 常见的设计模式 整洁架构以上是 《编写整洁的python代码》这本书的目录,最近在学习python,不是学习如何用python写几个功能,而是学习在实际项目中如何编写搞质量的python代码。这也是初级和高级程序员的区别,实现和漂亮的实现区别。每个语言都有自己的风格,以前做php的时候,发现php的风格是很松散的,到了pyth原创 2021-04-07 09:22:10 · 281 阅读 · 0 评论 -
项目部署 python fabric
原文链接http://dormousehole.readthedocs.org/en/latest/patterns/fabric.html使用 Fabric 部署Fabric 是一个 Python 工具,与 Makefiles 类似,但是能够在远程服务器上执行命令。如果与适当的 Python 包(大型应用 )与优良的配置(配置管理 )相结合那么Fabric 将转载 2015-10-13 14:22:24 · 720 阅读 · 0 评论 -
Mac Python 操作 粘贴板
Usage is simple:import pyperclippyperclip.copy('The text to be copied to the clipboard.')spam = pyperclip.paste()原文链接http://coffeeghost.net/2010/10/09/pyperclip-a-cross-platform-clipboar原创 2015-09-20 11:12:47 · 2925 阅读 · 1 评论 -
mamp 下 的mysql 安装 python 的 mysql 接口 MySQLdb
搞了几个小时,后来才才发现 mamp 环境下的mysql 无法安装 Python 的 MySQLdb 。解决办法就是 重新编译安装 mysql这是原文链接How to install mysqldb (mysql-python) on MAMPhttp://dreamconception.com/tech/how-to-install-mysqldb-mysql-pyth原创 2015-09-20 15:59:08 · 699 阅读 · 0 评论 -
bs4 的一个报错
RuntimeWarning: Python's built-in HTMLParser cannot parse the given document. This is not a bug in Beautiful Soup. The best solution is to install an external parser (lxml or html5lib), and use Beauti原创 2015-08-08 13:16:17 · 1223 阅读 · 0 评论 -
Python-goose:用于文章提取的Python库
Python-goose项目是用Python重写的Goose,Goose原来是用Java写的文章提取工具。Python-goose的目标是给定任意资讯文章或者任意文章类的网页,不仅提取出文章的主体,同时提取出所有元信息以及图片等信息,支持中文网页。Python-goose可提取的信息包括:文章主体内容文章主要图片文章中嵌入的任何Youtube/Vimeo视频元描述元标签Python原创 2015-07-23 15:16:41 · 3421 阅读 · 0 评论 -
python抓取动态网页---实例代码
try: url="" browser = webdriver.Chrome() # 打开 FireFox 浏览器 browser.get(url) imgurl = browser.find_element_by_id('img1') # 通过标记id 获取网页的内容 imgu原创 2014-11-09 17:38:26 · 1194 阅读 · 0 评论 -
python 爬虫做了一些完善
# -*- coding: utf-8 -*- import urllib2 import urllib import re import timeimport MySQLdb#mysql 数据库配置db_host = 'localhost'db_user = 'root'db_passwd = ''db_name = 'test'db原创 2014-11-04 11:09:01 · 606 阅读 · 0 评论 -
一个简单的网络爬虫---爬取网页中的图片
# -*- coding: utf-8 -*- import urllib2 import urllib import re import time#通过 url 获取网页源码 htmldef getHtml(url): page = urllib2.urlopen(url) html = page.read() return原创 2014-11-02 17:44:01 · 3224 阅读 · 1 评论 -
python 抓取动态网页的问题
这几天在研究 用python 抓取动态网页的原创 2014-11-07 09:21:17 · 642 阅读 · 0 评论 -
Python中dict详解
#字典的添加、删除、修改操作dict = {"a" : "apple", "b" : "banana", "g" : "grape", "o" : "orange"}dict["w"] = "watermelon"del(dict["a"])dict["g"] = "grapefruit"print dict.pop("b")print dictdict.clear()转载 2015-08-08 08:15:57 · 474 阅读 · 0 评论 -
Python list 操作
创建列表sample_list = ['a',1,('a','b')]Python 列表操作sample_list = ['a','b',0,1,3]得到列表中的某一个值value_start = sample_list[0]end_value = sample_list[-1]删除列表的第一个值del sample_list[0]在列表中插入一转载 2015-08-08 08:14:44 · 421 阅读 · 0 评论 -
python通过BeautifulSoup分页网页中的超级链接
#-*-coding:utf-8-*-import sysreload(sys)sys.setdefaultencoding( "utf-8" )import ConfigParserfrom crawl.crawl import *from crawl.filter import *import MySQLdbimport timeimport rando原创 2015-08-08 09:26:28 · 1293 阅读 · 0 评论 -
python log 日志记录
python的logging秉承了python一贯清爽的风格,短短几行代码就能实现日志记录。Python代码 # -*- coding: utf-8 -*- import logging logger = logging.getLogger() #set loghandler file = logging.FileHandler("qqxml.log")原创 2015-08-09 09:24:50 · 1053 阅读 · 0 评论 -
python 自己写爬虫 ---- 总结需要的包
技术热线:urlliburlib2pyquery ------ 能够以 jQuery 的语法來操作解析 HTML 文档 https://pypi.python.org/pypi/pyquery/beautifulSoup http://www.crummy.com/software/BeautifulSoup/bs3/documentation.zh.html原创 2015-07-23 10:23:37 · 2789 阅读 · 0 评论 -
python使用mysql数据库
http://www.cnblogs.com/fnng/p/3565912.html一,安装mysql 如果是windows 用户,mysql 的安装非常简单,直接下载安装文件,双击安装文件一步一步进行操作即可。Linux 下的安装可能会更加简单,除了下载安装包进行安装外,一般的linux 仓库中都会有mysql ,我们只需要通过一个命令就可以下载安装:Ubuntu转载 2015-07-23 10:46:30 · 403 阅读 · 0 评论 -
python 自己写爬虫 ----- BeautifulSoup
html ----- 获取了 源链接的 html soup = BeautifulSoup( html ) ----- 获得BeautifulSoup对象获得特定标签或有着特定属性的标签: titleTag = soup.html.head.title输出:#理财顾问招聘-信泽联合基金招聘-拉勾网title_tag = soup.html.原创 2015-07-23 10:22:25 · 457 阅读 · 0 评论 -
python抓取动态网页-----环境搭建
下载selenium chromedriver.exe原创 2014-11-09 15:34:29 · 621 阅读 · 0 评论