bladestone-CSDN博客

原创基于Jackson的ObjectMapper类进行json字符串与对象之间的互相转换

问题jackson是Java开源领域声名赫赫的json字符串操作类库，与fastjson等齐名。本文将给出示例，如何来快速进行json string和对象之间的互相转换。代码示例Profile数据对象类：@Datapublic class Profile { private String id; //Flag active profile on defa...

2018-08-22 10:31:47 8941

原创 Python语言中的常用技巧

技巧罗列一下，以备后续常用包装与解包a = (1,2,3)x,y,z = a判断元素是否存在## check whether it exists.bb = ['a', 'b', 'c']if 'a' in bb: print("let it be...")cc ={'a': 'a', 'b':'b', 'c':'c'}print('c' in c...

2018-08-13 21:00:08 364

原创 Python之Anaconda启动过程中的异常错误的解决

Anaconda一个非常优秀的python发行版本。问题的提出某天，忽然发现，启动spyder之后，一直在Connecting to Kernel， Loading起来没完没了，本质上就是连接不上了。启动IPython之时，报出如下的错误信息： ERROR:tornado.general:Uncaught exception in ZMQStream callbackT...

2018-08-13 20:13:21 18559 3

原创 Pyspider使用过程教程以及若干问题记录

#问题记录问题1 问题的错误信息：Exception: HTTP 599: Unable to communicate securely with peer: requested domain name does not match the server's certificate.解决的办法：将代码中的基于https开头的地址，切换为http即可。实际的url地址还...

2018-08-13 14:13:43 2759

原创 Pyspider启动过程中的问题ssl/nss错配问题

pysider的配置pyspider, centos 7.4 , python 3.6.5问题的提出在启动pyspider的过程中，碰到如下的问题：其中的信息如下：[root@AY131203102210033c39Z ~]# pyspider[W 180813 11:23:41 run:413] phantomjs not found, continue running w...

2018-08-13 11:33:38 2233 1

原创 PyCurl安装过程中的问题记录分析

Pyspider & Pycurlpyspider是一个大名鼎鼎的爬虫框架，在安装过程中，碰到了pycurl的相关问题，现在记录如下，方便后续参考。说明： pyspider在windows 7下的安装可以正常，但是运行过程中，会报出不同的错误信息，不建议在windows上运行。环境说明Centos 7, Python 3.6.5分析过程pip install...

2018-08-13 11:11:36 2528

原创 Scrapy之AttributeError: 'str'/"list" object has no attribute 'xpath'问题分析

环境介绍Scrapy 1.5.1 , Python 3.6.5问题描述在调用过程中，会报出以下错误信息：'str' object has no attribute 'xpath'在代码中，尝试对于Selector对象调用xpath方法，选取特定的Web元素节点。代码示例如下： def parse_item(self, response): ...

2018-08-10 17:55:59 26505 1

原创 Pyenv--优秀的Python多版本管理工具

引言在python的世界里，其实是分裂的，有Python2，还有Python3，于是在两者之间的切换也是非常麻烦的，有时候，也想安装一下最新的版本，该如何来做呢？好吧，这里Pyenv来拯救你。环境说明CentOS 7.4准备基础环境 yum install -y readline readline-devel readline-static openssl op...

2018-08-10 17:45:05 2378

原创 CentOS上安装Selenium和google Driver的过程以及问题记录

引言Selenium主要用在自动化测试中，但是也可以用在爬取数据中，由于其实真实的浏览器，则可以无缝地提取数据，而无需担心各类的数据屏蔽，这里主要介绍在CentOS上安装它们的过程以及其中碰到的各类问题记录。环境介绍CentOS 7.4 ， Selenium 3.13.0， google chrome, Gecko Driver，这里以google的chrome为例，Gecko的过...

2018-08-10 17:20:08 27405 7

原创基于Flask的最简Web请求

引言： Python功能强大，可以用来进行Web服务的开发，这里将给出一个最简单的示例，仅做参考。Flask这里使用了Flask作为Web服务的框架，其简单精悍，非常易学易用。示例代码代码如下：import logging.configimport jsonfrom flask import Flaskfrom flask import make_response...

2018-08-10 16:47:36 625

原创 Spring Boot Application后台守护Daemon应用

问题的提出在系统基于Spring Boot来构建Web应用之后，其实Spring Boot对于应用的支持同样非常的好，但是在程序其中之后，则程序自动就退出了，这个是什么情况？系统的日志如下：2018-08-10 16:38:29.525 INFO 12068 --- [ restartedMain] org.config.test.App1Application ...

2018-08-10 16:42:51 5368

原创 Spring Boot之application.properites的failed to convert java.lang.String to java.lang.Integer问题解决

环境描述Spring Boot 2.0.4.RELEASE 问题描述新创建了一个Spring Boot的Web应用，在pom.xml中的profile中配置了web server的端口，并在application.properties中配置了对应的port字段映射。但是，在启动过程中，却出现了如下错误信息：***************************APP...

2018-08-07 14:38:28 21098 7

原创爬取电商站点上所有的商品列表信息

爬取描述爬取某电商上的所有python的关键字信息，这里主要是指图书，每个图书只需要名称和所属的店铺名称信息即可。实现这里直接上代码：from selenium import webdriverimport pandas as pdfrom urllib.parse import quotefrom selenium.webdriver.common.by impor...

2018-07-24 14:26:41 3448

原创 Selenium使用中的场景问题与应对

问题与应对在Selenium的使用中，有大量的各类问题，这里将这些问题汇总一下，并给出相应的应对策略。问题列表问题1： selenium.common.exceptions.StaleElementReferenceException: Message: stale element reference: element is not attached to the page...

2018-07-24 14:16:43 1099

原创基于Selenium自动爬虫电商上的数据

selenium一个功能强大的自动化测试工具，当然这里不用做自动化测试，而是用来进行自动化的爬取数据的。前置安装首先需要安装ChromeDriver，这里也可以安装Firefox的driver。安装地址： https://sites.google.com/a/chromium.org/chromedriver/ 提示信息：建议大家自行寻找人肉翻=墙的工具，自行下载。Fi...

2018-07-24 14:11:53 714

原创 Git常见错误问题

错误1错误信息：fatal: Not a git repository (or any parent up to mount point /export)Stopping at filesystem boundary (GIT_DISCOVERY_ACROSS_FILESYSTEM not set)解决的办法： git init错误2错误信息：early...

2018-07-19 16:11:01 28126

原创 Sprig Boot下基于SQL Script初始化数据库的方法总结

环境信息Spring Boot 2.0.3, Windows 7, JPA, Spring Data, MySQL需求虽然JPA和Hibernate底层提供了强大的支持，但是在实际开发中，仍然会有需要自定义数据表和初始化数据的需求，对于这个需求，Spring Boot也提供了相应的支持，只是对于这个需求是有一定的前提条件和约束的，换句话说，这些SQL script只能在特定设置和...

2018-07-17 10:27:15 1537

原创 Spring Boo中基于规则将不同的配置信息读入不同的@Configuration Bean方法解析

Spring Boot这里使用的Spring Boot 2.0.3， 1.5.x的版本会有所不同，请查找API文档明确其中差异。分类的配置信息在Java项目中，为了灵活，总是有各类不同的配置项。在Spring Boot项目中，这些配置项都被放入了application.properties或者application.yml中去。也可以自定义各类的配置信息。这些配置信息为了简便灵活，都是...

2018-07-13 09:06:49 1088

原创 Spring Boot之省略注入的情况总结

@AutowiredSpring提供的标注，其基于容器自动寻找和加载特定的对象。其寻找和匹配的范围包括： @Component， @Bean, @Service, @Repository, @Controller等声明的对象。使用方式@Autowired可以用在属性、方法和构造函数上。查看其定义如下：@Target({ElementType.CONSTRUCTOR, Eleme...

2018-07-12 18:28:30 2301

原创 Spring Boot @ConditionalOnXXX注解解析

ContiionalOnXXX在实际应用中，时常会碰到在某些情况下，才需要创建Bean或者启用某些配置。这个时候就是Conditional的应用场景自定义的conditionCondition接口定义了一个入口条件，通过返回true/false来触发其是否要执行操作：接口定义如下：@FunctionalInterfacepublic interface Conditi...

2018-07-12 18:09:42 4913

原创 Maven的Scope区别笔记

依赖的Scopescope定义了类包在项目的使用阶段。项目阶段包括：编译，运行，测试和发布。分类说明compile 默认scope为compile，表示为当前依赖参与项目的编译、测试和运行阶段，属于强依赖。打包之时，会达到包里去。test 该依赖仅仅参与测试相关的内容，包括测试用例的编译和执行，比如定性的Junit。runtime 依赖仅参与运行周期中的使用。一般...

2018-07-12 13:22:48 48035 6

原创 Maven之Spring BOM（Bill of Materials)

问题提出在Maven项目中，如果需要依赖第三方的包，比如Spring。不同的第三方依赖包可以直接或者间接依赖于Spring，这些Spring的版本各有不同，则在项目中产生的版本的冲突。 BOM价值BOM是由Maven提供的功能，用以统一间接或者直接依赖的类库版本，强制某个类库使用某一个统一的版本。使用示例在Maven的pom.xml中，使用如下：<dependen...

2018-07-12 10:38:31 4925

原创 Thymeleaf与Spring学习笔记

ModelAttribute在与Spring的集成中，在html页面中基于thymeleaf语法，直接访问model中的属性信息。在Controller中定义ModelAttribute信息：@ModelAttribute('allTypes')public List<Type> populateTypes() { return Arrays.asList(T...

2018-07-11 14:43:31 918

原创 Thymeleaf学习笔记(四)

th:blockthymeleaf中唯一的执行逻辑控制的节点，执行完毕之后，自行消失，用来做控制，而非显示。示例：&amp;lt;table&amp;gt; &amp;lt;th:block th:each=&quot;user : ${users}&quot;&amp;gt; &amp;lt;tr&amp;gt; &am

2018-07-11 11:39:39 433

原创 Thymeleaf学习笔记(三)

Layout布局1 定义fragment 语法： th:fragement 示例:&lt;!DOCTYPE html&gt;&lt;html xmlns:th="http://www.thymeleaf.org"&gt; &lt;body&gt; &lt;div th:fragment="copy&qu

2018-07-10 19:52:14 293

原创 Thymeleaf学习笔记(二）

缺省的Conversion语法： ${{variable}} 含义：默认调用转换函数，将其转换为string 示例:&lt;td th:text="${{user.lastAccessDate}}"&gt;...&lt;/td&gt;Preprocessing预处理语法： ${#{artical.text{‘txtvar’)}} 含义：在预处理阶段，替换为对应的m...

2018-07-10 19:38:31 565

原创 Thymeleaf快速学习笔记(一)

基础语法简单的表达式 Variable Expressions: ${…} Selection Variable Expressions: *{…} Message Expressions: #{…} Link URL Expressions: @{…} Fragment Expressions: ~{…}Text操作String concatenation: + Lite...

2018-07-10 18:51:42 625

原创基于Headless浏览器来访问当当页面商品信息--代码示例

依赖库说明selenium: 兼容不同浏览器的WebDriver PhantomJS: 著名的无头浏览器，不幸的是最近maintainer放弃继续支持维护了，真是一件悲伤的事情。开发语言： Python 3.6功能描述从当当商城中爬取某个商品的价格和名称。这里尝试查找”非暴力沟通“的图书信息，输出价格和命名。代码示例 # -*- coding: utf-8 ...

2018-07-10 15:17:03 657

原创 Python之ImportError: DLL load failed: 找不到指定的模块问题解决

环境说明Window 7， Python 3.6.5问题描述在基于python来进行import之时，报出如下的错误：>> from PIL import ImageTraceback (most recent call last): File "<ipython-input-12-0f6709e38f49>", line 1, in &lt...

2018-07-10 14:11:53 258457 38

原创 Spring Boot之RestTemplate在URL中转义字符禁止转义的问题解决

问题的提出基于resttemplate类进行文件下载，但是不幸的url地址中有特殊的转义字符，如果使用resttemplate的方法的话，其默认会进行转义。原始字符串： http://www.xx.com/image-checker/train_mean.txt?Expires=3678172563&Signature=2FqOFfzePCjESlKMqiGc9V8C9E...

2018-07-04 17:56:42 21617 6

原创 Java常用开发类库推荐

在开发工具中，常用的小类库工具是非常有用的，具体收集如下： - xml creator/parser 地址： http://code.mycila.com/xmltool/ 描述：简单易用，fluent api分格，支持xpath...

2018-07-03 10:34:15 534

原创 POI之java.io.IOException: ZIP entry size is too large

问题提出在基于Java 的POI进行excel的读写之时，碰到的如下问题：java.io.IOException: Failed to read zip entry source at org.apache.poi.openxml4j.opc.ZipPackage.<init>(ZipPackage.java:106) ~[poi-ooxml-3.15.jar:3.15...

2018-06-29 13:45:24 13965 4

原创 “Plugin execution not covered by lifecycle configuration: xxx"问题的解决

问题提出：在使用Maven过程中，碰到了如下问题：Plugin execution not covered by lifecycle configuration: io.spring.javaformat:spring-javaformat-maven-plugin:0.0.4:validate (execution: default, phase: validate) ...

2018-06-26 16:25:56 3239 1

原创 Java 8之FunctionalInterface深度解析（一）

引言：虽然Java拥有数量庞大的开发者群体，但是其亦不能免俗，不能不追随业界流行的趋势，逐步加入新的流行元素。在JDK 8中加入针对函数式编程的支持，而@Functionalinterface便是其中之一，本文将深度分析Functional interface的应用与使用经验。函数式编程这个话题有点偏学术，但是不妨碍一起来了解一下。在面向对象编程之前，是面向过程的结构化分析和编程。在面...

2018-05-23 09:27:42 17635 1

原创 Spring Boot中Configuration problem: Cannot locate BeanDefinitionParser for element 的问题分析

环境信息Spring Boot 2.0.2 JDK 8, OS: windows 7问题的提出今天在开发中，碰到一下类似的错误信息：15:44:09.198 INFO com.jd.ai.cv.api.PubAPIApplication.logStarting@50 - Starting PubAPIApplication on ZB-PF0V10MN with PI...

2018-05-18 15:53:42 7409

原创 Spring Boot 2.0下配置Log4j2下的错误问题分析与解决

环境介绍Spring Boot 2.0.2 Java 8任务描述由于Spring Boot 2.0 默认情况下是使用logback作为日志系统的，这里希望切换到log4j2.pom.xml内容定义这里在pom.xml新增了spring-boot中的日志组件&lt;dependency&gt; &lt;groupId&gt;org.springframewo...

2018-05-18 14:23:54 27834 6

原创 Spring Boot中JPA实现Sort排序的三种方式

引言：在Spring Boot应用中，基于数据某个字段进行排序是一个非常常用的需求，这里将给出Sort的三种常用用法，基于分页的应用，大家可以各取所需，择机使用。环境说明Spring 4.2 Spring Boot 1.5.11 Java 8前置说明ECardEntity.java的定义：import javax.persistence.Column;import...

2018-05-17 19:48:35 106772 5

原创 Scrapy中如何实现迭代爬取的思路实现

引言爬虫设计思路代码实现总结引言　在Scrapy进行数据爬取的时候，直接能够爬取到目标数据的概率不大，一般都是需要通过几层URL地址的爬取，才能最终获取到想要的结果数据，那该如何实现这些目标呢？爬虫设计思路　在Scrapy中定义的Request和FormRequest对象都提供了callback字段，运行在爬取网页之后，可以执行callback方法，...

2018-05-06 18:30:49 2859

原创 Scrapy之爬取结果导出为Excel的快速指南

引言基于Scrapy来爬取数据只是手段，这些爬取的结果需要按照一定的方式导出或者存储到数据库中，excel是在日常工作中使用最为广泛的工具之一，本文介绍如何来讲爬取结果存储excel文件。环境介绍Python 3.6.1 Scrapy 1.5.0定义Domain对象定义爬取数据对象的实体类：import scrapyclass EnrolldataItem(sc...

2018-05-06 17:57:49 8571 2

原创 Scrapy之迭代爬取网页中失效问题分析

引言问题的提出问题分析问题的解决总结引言在Scrapy中，在很多种情况下，需要一层层地进行爬取网页数据，就是基于url爬取网页，然后在从网页中提取url，继续爬取，循环往复。本文将讲述一个在迭代爬取中，只能爬取第一层网页的问题。问题的提出 scrapy crawl enrolldata Scrapy代码执行结果输出如下： “` ...

2018-05-06 17:37:40 3550

空空如也

空空如也