- 博客(19)
- 收藏
- 关注
RSS订阅原创 爬取电商站点上所有的商品列表信息
爬取描述爬取某电商上的所有python的关键字信息，这里主要是指图书，每个图书只需要名称和所属的店铺名称信息即可。实现这里直接上代码：from selenium import webdriverimport pandas as pdfrom urllib.parse import quotefrom selenium.webdriver.common.by impor...
2018-07-24 14:26:41
3448
原创 Selenium使用中的场景问题与应对
问题与应对在Selenium的使用中，有大量的各类问题，这里将这些问题汇总一下，并给出相应的应对策略。问题列表问题1： selenium.common.exceptions.StaleElementReferenceException: Message: stale element reference: element is not attached to the page...
2018-07-24 14:16:43
1099
原创 基于Selenium自动爬虫电商上的数据
selenium一个功能强大的自动化测试工具，当然这里不用做自动化测试，而是用来进行自动化的爬取数据的。前置安装首先需要安装ChromeDriver，这里也可以安装Firefox的driver。 安装地址： https://sites.google.com/a/chromium.org/chromedriver/ 提示信息： 建议大家自行寻找人肉翻=墙的工具，自行下载。Fi...
2018-07-24 14:11:53
713
原创 Git常见错误问题
错误1错误信息：fatal: Not a git repository (or any parent up to mount point /export)Stopping at filesystem boundary (GIT_DISCOVERY_ACROSS_FILESYSTEM not set)解决的办法： git init错误2错误信息：early...
2018-07-19 16:11:01
28112
原创 Sprig Boot下基于SQL Script初始化数据库的方法总结
环境信息Spring Boot 2.0.3, Windows 7, JPA, Spring Data, MySQL需求虽然JPA和Hibernate底层提供了强大的支持，但是在实际开发中，仍然会有需要自定义数据表和初始化数据的需求，对于这个需求，Spring Boot也提供了相应的支持，只是对于这个需求是有一定的前提条件和约束的，换句话说，这些SQL script只能在特定设置和...
2018-07-17 10:27:15
1537
原创 Spring Boo中基于规则将不同的配置信息读入不同的@Configuration Bean方法解析
Spring Boot这里使用的Spring Boot 2.0.3， 1.5.x的版本会有所不同，请查找API文档明确其中差异。分类的配置信息在Java项目中，为了灵活，总是有各类不同的配置项。在Spring Boot项目中，这些配置项都被放入了application.properties或者application.yml中去。也可以自定义各类的配置信息。这些配置信息为了简便灵活，都是...
2018-07-13 09:06:49
1088
原创 Spring Boot之省略注入的情况总结
@AutowiredSpring提供的标注，其基于容器自动寻找和加载特定的对象。其寻找和匹配的范围包括： @Component， @Bean, @Service, @Repository, @Controller等声明的对象。使用方式@Autowired可以用在属性、方法和构造函数上。查看其定义如下：@Target({ElementType.CONSTRUCTOR, Eleme...
2018-07-12 18:28:30
2301
原创 Spring Boot @ConditionalOnXXX注解解析
ContiionalOnXXX在实际应用中，时常会碰到在某些情况下，才需要创建Bean或者启用某些配置。这个时候就是Conditional的应用场景自定义的conditionCondition接口定义了一个入口条件，通过返回true/false来触发其是否要执行操作： 接口定义如下：@FunctionalInterfacepublic interface Conditi...
2018-07-12 18:09:42
4913
原创 Maven的Scope区别笔记
依赖的Scopescope定义了类包在项目的使用阶段。项目阶段包括： 编译，运行，测试和发布。分类说明compile 默认scope为compile，表示为当前依赖参与项目的编译、测试和运行阶段，属于强依赖。打包之时，会达到包里去。test 该依赖仅仅参与测试相关的内容，包括测试用例的编译和执行，比如定性的Junit。runtime 依赖仅参与运行周期中的使用。一般...
2018-07-12 13:22:48
48035
6
原创 Maven之Spring BOM（Bill of Materials)
问题提出在Maven项目中，如果需要依赖第三方的包，比如Spring。不同的第三方依赖包可以直接或者间接依赖于Spring，这些Spring的版本各有不同，则在项目中产生的版本的冲突。 BOM价值BOM是由Maven提供的功能，用以统一间接或者直接依赖的类库版本，强制某个类库使用某一个统一的版本。使用示例在Maven的pom.xml中，使用如下：<dependen...
2018-07-12 10:38:31
4925
原创 Thymeleaf与Spring学习笔记
ModelAttribute在与Spring的集成中，在html页面中基于thymeleaf语法，直接访问model中的属性信息。 在Controller中定义ModelAttribute信息：@ModelAttribute('allTypes')public List<Type> populateTypes() { return Arrays.asList(T...
2018-07-11 14:43:31
918
原创 Thymeleaf学习笔记(四)
th:blockthymeleaf中唯一的执行逻辑控制的节点，执行完毕之后，自行消失，用来做控制，而非显示。 示例：&amp;lt;table&amp;gt; &amp;lt;th:block th:each=&quot;user : ${users}&quot;&amp;gt; &amp;lt;tr&amp;gt; &am
2018-07-11 11:39:39
432
原创 Thymeleaf学习笔记(三)
Layout布局1 定义fragment 语法： th:fragement 示例:&lt;!DOCTYPE html&gt;&lt;html xmlns:th="http://www.thymeleaf.org"&gt; &lt;body&gt; &lt;div th:fragment="copy&qu
2018-07-10 19:52:14
293
原创 Thymeleaf学习笔记(二）
缺省的Conversion语法： ${{variable}} 含义： 默认调用转换函数，将其转换为string 示例:&lt;td th:text="${{user.lastAccessDate}}"&gt;...&lt;/td&gt;Preprocessing预处理语法： ${#{artical.text{‘txtvar’)}} 含义： 在预处理阶段，替换为对应的m...
2018-07-10 19:38:31
565
原创 Thymeleaf快速学习笔记(一)
基础语法简单的表达式 Variable Expressions: ${…} Selection Variable Expressions: *{…} Message Expressions: #{…} Link URL Expressions: @{…} Fragment Expressions: ~{…}Text操作String concatenation: + Lite...
2018-07-10 18:51:42
625
原创 基于Headless浏览器来访问当当页面商品信息--代码示例
依赖库说明selenium: 兼容不同浏览器的WebDriver PhantomJS: 著名的无头浏览器，不幸的是最近maintainer放弃继续支持维护了，真是一件悲伤的事情。 开发语言： Python 3.6功能描述从当当商城中爬取某个商品的价格和名称。这里尝试查找”非暴力沟通“的图书信息，输出价格和命名。代码示例 # -*- coding: utf-8 ...
2018-07-10 15:17:03
657
原创 Python之ImportError: DLL load failed: 找不到指定的模块问题解决
环境说明Window 7， Python 3.6.5问题描述在基于python来进行import之时，报出如下的错误：>> from PIL import ImageTraceback (most recent call last): File "<ipython-input-12-0f6709e38f49>", line 1, in <...
2018-07-10 14:11:53
258437
38
原创 Spring Boot之RestTemplate在URL中转义字符禁止转义的问题解决
问题的提出基于resttemplate类进行文件下载，但是不幸的url地址中有特殊的转义字符，如果使用resttemplate的方法的话，其默认会进行转义。 原始字符串： http://www.xx.com/image-checker/train_mean.txt?Expires=3678172563&Signature=2FqOFfzePCjESlKMqiGc9V8C9E...
2018-07-04 17:56:42
21613
6
原创 Java常用开发类库推荐
在开发工具中，常用的小类库工具是非常有用的，具体收集如下： - xml creator/parser 地址： http://code.mycila.com/xmltool/ 描述： 简单易用，fluent api分格，支持xpath...
2018-07-03 10:34:15
534
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人