2020年03月_Charles.zhang

11月 10月 09月 08月 07月 06月 05月 04月 03月 01月

转载 python爬虫：爬取链家深圳全部二手房的详细信息

1、问题描述：爬取链家深圳全部二手房的详细信息，并将爬取的数据存储到CSV文件中2、思路分析:(1)目标网址：https://sz.lianjia.com/ershoufang/(2)代码结构：class LianjiaSpider(object): def __init__(self): def getMaxPage(self, url): # 获取...

2020-03-31 16:26:20 2851 12

转载 Python嵌套列表转一维（压平嵌套列表）

前一段去云英面试，技术官很”不厚道“了问了一个非常简单的问题：如何将多维列表转化了一维的？当时虽然想到了使用迭代或者列表生成式可以做到，但是可以没能可行的代码，回来后一顿后悔。对于规范的且嵌套维度较低的多维列表，python中有很多方法可以实现：a=[[1,2],[3,4],[5,6]]print [j for i in li for j in i]#orfrom ...

2020-03-26 15:32:24 1128

转载 pycharm使用远程环境debugger不了，但却能运行，已解决

IDE软件：Pycharm专业版远程环境：Vagrant虚拟机Centos7.0python环境：python3.6问题描述：python程序能够正常运行，debugger的时候，不会进入debugger，而是直接运行程序，给与结果。（相当于debugger完全没有用）debugger运行提示信息：pydev debugger: warning: trying to add bre...

2020-03-25 13:55:51 1502 1

转载百度地图动态添加轨迹坐标点

1、首先成为百度开发者(注意选择浏览器端和JavascriptAPI)2、申请秘钥(如果不想对访问网址进行限制的话 Referer白名单使用 * )3、生成轨迹代码<!DOCTYPE html><html><head> <meta http-equiv="Content-Type" content="text/html...

2020-03-24 16:37:36 2570

转载 Numpy中数据的常用的保存与读取方法

文章目录:1.保存为二进制文件(.npy/.npz) numpy.save numpy.savez numpy.savez_compressed 2.保存到文本文件 numpy.savetxt numpy.loadtxt 在经常性读取大量的数值文件时(比如深度学习训练数据),可以考虑现将数据存储为Numpy格式,然后直接使用Numpy去读取,速度相比为转化前快很多....

2020-03-23 16:32:35 942

转载 pandas性能提升之避免对小数据量使用pandas内置函数

pandas本身就是面向数据分析的，而且是面向大数据分析的，所以其内置函数本身在设计上相比于一些python原生的操作就会繁杂一些，这也是为了功能性的考虑。所以，这就导致了其内置函数就像高速火车，而python的原生操作就像超跑，超跑在速度上是具有优势的，但是在功能性上是比不上高速火车的。所以，理论上，如果可以用python的原生操作实现，那么总是可以更快的，毕竟内置函数很多也是用原生操作封装好...

2020-03-20 16:06:40 280

转载 pandas之apply和for loop之间的比较和权衡

首先，文章开头就需要强调的是：对于大的数据量，能不用loop就尽量不用loop，无论是for loop还是apply，尽量用内置函数实现。在pandas里，我们经常听到一句话就是尽量减少for loop的时候，尽量用apply去替代，但是这句话是有语境的，并不一定的正确的，实际上，在pandas里，对于for loop和apply之间的使用，是一个需要权衡的东西，并非...

2020-03-20 16:03:46 1871

转载 python:如何准确的获取一个对象（比如字典）的内存占用

python中，sys模块里面有一个getsizeof函数，其可以获取某个对象的内存占用，但是要注意的是，该函数只能获取对象本身直接占用的内存，该对象所指向的引用所占据的内存并不会被计算在内；python中，比如当对象是一个容器时，那么getsizeof函数就无法获取该容器内部所有内容的内存占用了，返回的只是容器本身的内存占用，比如字典。对此，官方文档给出了一种途径...

2020-03-20 15:51:41 2763

转载【Pandas】Pandas处理大数据集的方法（内存优化，减少内存使用量90%）

目录将内存使用量减少高达90％的方法使用棒球比赛日志数据帧的内部表示了解子类型使用子类型优化数值列将Numeric与String存储进行比较使用分类优化对象类型读取数据时选择类型分析棒球比赛总结和后续步骤将内存使用量减少高达90％的方法当使用具有小数据（小于100兆字节）的pandas时，性能很少成为问题。当我们迁移到更大的数据（100兆字节到...

2020-03-20 15:03:04 1260

转载 python中使用psutil查看内存占用

有的时候需要对python程序内存占用进行监控，这个时候可以用到psutil库，Anaconda中是自带的，如果import出错，可以用pip install psutil(安装在python中）或conda install psutil（安装在Anaconda中）#常用的：import psutilimport osinfo = psutil.virtual_memory()p...

2020-03-20 14:14:07 556

转载 python变量的内存机制

作为一门简单易用的语言，且配备海量的库，python可谓是程序员手中的掌中宝，编程本身就是一种将人类思维转化为计算机思维的技术，如果不需要去追求极致的运行效率同时又不限制于计算机内存空间，python无疑是目前最方便的语言了。作为一个合格的程序员，自然是要知其然并知其所以然，除了能够应用python来放飞自我之外，同时也要探究python其内部的运行原理，首当其冲的python编程中必须要用到...

2020-03-20 13:53:32 395

转载 python字符串有多少字节

python字符串有多少字节是否有一些函数可以告诉我字符串在内存中占用多少字节？我需要设置套接字缓冲区的大小，以便一次传输整个字符串。解决方案import syssys.getsizeof(s)# getsizeof(object, default) -> int# Return the size of object in bytes.但实际上你需要知道它...

2020-03-18 14:40:10 980

转载一个完整推荐系统的设计实现

工业界完整推荐系统的设计。结论是：没有某种算法能够完全解决问题，多重算法+交互设计，才能解决特定场景的需求。下文也对之前的一些博文进行梳理，构成一个完整工业界推荐系统所具有的方方面面（主要以百度关键词搜索推荐系统为例）完整的推荐系统肯定不会只用一种推荐算法在学术界，一般说到推荐引擎，我们都是围绕着某一种单独的算法的效果优化进行的，例如按内容推荐，协同过滤（包括item-bas...

2020-03-18 14:29:11 994

原创 PyCharm设置每行最大长度限制

编写Python代码，大家都需要遵循PEP8，因此在pycharm中，如何设置每行最大长度限制，成为了一个小的知识盲点，在这里做一下记录，方便以后查看。File→Settings→Code Style→Hard warp at参考文章:https://blog.csdn.net/weixin_42122355/article/details/83373889?depth_1-utm_s...

2020-03-18 10:39:47 4291

转载推荐系统中相似度算法介绍及效果测试

######################尊重版权，转载注明地址######################相似度算法介绍相似度算法主要任务是衡量对象之间的相似程度，是信息检索、推荐系统、数据挖掘等的一个基础性计算。下面重点介绍几种比较常用的相似度算法。向量表示通常假设对象X和Y都具有N维的特征，即X=(x_1,x_2,…x_n)...

2020-03-06 16:58:47 1928