- 博客(8)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 pyquery 与 XPath 的使用记录
概述在爬虫工作中，对页面的解析工作是不可避免的，因此如何准确高效的匹配出目标信息，对于数据的提取尤为重要。对于网页的节点来说，它可以定义 id、class 或其他属性。而且节点之间还有层次关系，在网页中可以通过 XPath 或 CSS 选择器来定位一个或多个节点。在 Python 中，除了可以继续使用正则表达式外，还提供了一系列解析库，其中比较强大的库有 lxml、Beautiful Soup...
2019-08-31 20:51:49
1396
原创 Python 爬虫数据库使用情况分析
概述Python 爬虫数据存储方式文本形式存储（比如 txt、csv）数据库（比如 MongoDB、MySQL）文件系统（比如 Hadoop HDFS——大数据分布式文件系统)三种方法各有自己的优缺点。文本形式优点：方便快捷，随时使用，不需要第三方的支持。缺点：健壮性和扩展性差，不适用于大规模数据存储。数据库优点：良好的扩展性，使用广泛。缺点：数据库选择多，需要第三方支持...
2019-08-26 22:39:33
798
原创 Python 性能判断基础
在编程领域中对于性能这个词，有很多评估的角度，比如 CPU 时间、内存消耗、磁盘 I/O、网络带宽等，本文将从 CPU 时间和内存消耗两个方面来介绍如何对 Python 程序进行性能分析。在很多情况上我们更关注时间复杂度问题，希望降低 CPU 时间消耗，但是在优化代码的过程中，可能会开辟新的内存空间，从而造成内存上的扩增，这也就是常见的以空间换时间的操作。时间复杂度1、使用装饰器from ...
2019-08-22 20:48:46
239
原创 Idea 使用技巧记录
1、配置 sys 输出快捷键首先点击工具栏 File->Settings，搜索 Live…新建一个分组，然后在该分组下添加快捷键。因为已经配置了 sys 快捷键，这里配置 try 快捷键，过程一样。此时, 在下面有一条红色警告语, 点击最下面的”Define”, 选择 Java。点击 Apply ，然后点击 OK 退出。在 Java 文件中输入 sys 即可带出 Syst...
2019-08-21 23:06:33
1675
原创 Java 与 Excel，支持 xls 和 xlsx
引入 Jar 包前往 apache 官网进行下载，如图：Jar 包建议选择最新的稳定版，这样功能更加齐全，使用起来体验感好。然后点击下载，对下载的压缩包进行解压，打开后如下：这里显示的 Jar 包还不够，如果要实现对 Excel（支持 xls 和 xlsx）的导入导出功能，需要增加额外的 Jar 包，就在 lib 文件夹和 ooxml-lib 文件夹中可以找到。复制出来结果如下：...
2019-08-19 21:06:59
714
原创 Python 代码性能优化
Python 代码优化常见技巧代码优化能够让程序运行更快，它是在不改变程序运行结果的情况下使得程序的运行效率更高，根据 80/20 原则，实现程序的重构、优化、扩展以及文档相关的事情通常需要消耗 80% 的工作量。优化通常包含两方面的内容：减小代码的体积，提高代码的运行效率。设计算法时选择好数据结构一个良好的算法能够对性能起到关键作用，因此性能改进的首要点是对算法的改进。在算法的时间复杂度排...
2019-08-18 00:30:06
1200
原创 回溯详解以及与 DFS 算法的关联
概述回溯法是一种选优搜索法（试探法），被称为通用的解题方法，这种方法适用于解一些组合数相当大的问题。通过剪枝（约束+限界）可以大幅减少解决问题的计算量（搜索量）。深度优先搜索（Depth-First-Search，DFS）是一种用于遍历或搜索树或图的算法。沿着树的深度遍历树的节点，尽可能深的搜索树的分支。当节点v的所在边都己被探寻过，搜索将回溯到发现节点v的那条边的起始节点。这一过程一直进行到...
2019-08-10 22:25:03
5548
原创 SQL 使用记录
SQL 语句查询字段拼接首先创建一个 student 表，CREATE TABLE `STUDENT` ( `ID` VARCHAR2(12 BYTE) DEFAULT ' ' NOT NULL , `NAME` VARCHAR2(50 BYTE) DEFAULT ' ' NOT NULL , `CLASS_ID` NUMBER(5) DEFAULT 0 NOT NULL ,...
2019-08-07 21:19:51
515
instantclient_11_2.rar
2019-12-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人