木小鱼的笔记

技术之海,顺势者昌;看问题,要看思路与问题实质

排序:
默认
按更新时间
按访问量

Scrapy学习资料推荐

推荐资料 简明教程 https://www.tutorialspoint.com/scrapy/index.htm 示例代码 https://www.programcreek.com/python/

2018-05-06 19:01:08

阅读数:47

评论数:0

常用工具软件(推荐)

TinyProxy [简单易用的代理工具] 安装 TinyProxy yum -y install tinyproxy 配置 TinyProxy vim /etc/tinyproxy/tinyproxy.conf 修改 Port 端口,默认为 8888 Port...

2018-04-25 16:37:44

阅读数:48

评论数:0

Java Coding Tips

Print Map in Java Arrays.toString(map.entrySet().toArray()) Print List in Java Arrays.toString(list.toArray())

2018-04-10 14:26:15

阅读数:57

评论数:0

Tensorflow知识点与问题汇总

常用命令 查看显卡指令 说明: 本帖为个人在学习tensorflow过程中,碰到的问题、解决思路、常用命令和知识点的总结,为临时贴,随后会被拆分,或分解为不同的总结贴。 常用命令 查看GPU的运行情况 nvidia-smi 运行说明: 此为Linux...

2018-03-13 22:10:20

阅读数:89

评论数:0

CentOS常用命令汇总

MySQL命令 将新创建的数据分配某个用户访问 grant all privileges on zhouzdb.* to ‘zhouz’@’%’ identified by ‘1234’; flush privileges centos 7启动/查看服务 systemc...

2017-07-12 16:47:58

阅读数:535

评论数:0

JavaScript常用类库推荐

Axios Axios 是一个基于 promise 的 HTTP 库,可以用在浏览器和 node.js 中 [中文说明], [Github], [教程] Lodash 一致性、模块化、高性能的 JavaScript 实用工具库 [官方说明], Animate.css 常用的CSS动画 [官方...

2018-06-10 18:54:52

阅读数:29

评论数:0

Java 8之FunctionalInterface深度解析(一)

引言: 虽然Java拥有数量庞大的开发者群体,但是其亦不能免俗,不能不追随业界流行的趋势,逐步加入新的流行元素。 在JDK 8中加入针对函数式编程的支持,而@Functionalinterface便是其中之一,本文将深度分析Functional interface的应用与使用经验。 函数式编程 ...

2018-05-23 09:27:42

阅读数:82

评论数:0

Spring Boot中Configuration problem: Cannot locate BeanDefinitionParser for element 的问题分析

环境信息 Spring Boot 2.0.2 JDK 8, OS: windows 7 问题的提出 今天在开发中,碰到一下类似的错误信息: 15:44:09.198 INFO com.jd.ai.cv.api.PubAPIApplication.logStarting@50 ...

2018-05-18 15:53:42

阅读数:126

评论数:0

Spring Boot 2.0下配置Log4j2下的错误问题分析与解决

环境介绍 Spring Boot 2.0.2 Java 8 任务描述 由于Spring Boot 2.0 默认情况下是使用logback作为日志系统的,这里希望切换到log4j2. pom.xml内容定义 这里在pom.xml新增了spring-boot中的日志组件 &...

2018-05-18 14:23:54

阅读数:303

评论数:0

Spring Boot中JPA实现Sort排序的三种方式

引言: 在Spring Boot应用中,基于数据某个字段进行排序是一个非常常用的需求,这里将给出Sort的三种常用用法,基于分页的应用,大家可以各取所需,择机使用。 环境说明 Spring 4.2 Spring Boot 1.5.11 Java 8 前置说明 ECardEntity....

2018-05-17 19:48:35

阅读数:144

评论数:0

Scrapy中如何实现迭代爬取的思路实现

引言 爬虫设计思路 代码实现 总结 引言  在Scrapy进行数据爬取的时候,直接能够爬取到目标数据的概率不大,一般都是需要通过几层URL地址的爬取,才能最终获取到想要的结果数据,那该如何实现这些目标呢? 爬虫设计思路  在Scrapy中定义的Request和Fo...

2018-05-06 18:30:49

阅读数:63

评论数:0

Scrapy之爬取结果导出为Excel的快速指南

引言 基于Scrapy来爬取数据只是手段,这些爬取的结果需要按照一定的方式导出或者存储到数据库中,excel是在日常工作中使用最为广泛的工具之一,本文介绍如何来讲爬取结果存储excel文件。 环境介绍 Python 3.6.1 Scrapy 1.5.0 定义Domain对象 定义爬...

2018-05-06 17:57:49

阅读数:196

评论数:0

Scrapy之迭代爬取网页中失效问题分析

引言 问题的提出 问题分析 问题的解决 总结 引言 在Scrapy中,在很多种情况下,需要一层层地进行爬取网页数据,就是基于url爬取网页,然后在从网页中提取url,继续爬取,循环往复。 本文将讲述一个在迭代爬取中,只能爬取第一层网页的问题。 问题的提出 scrap...

2018-05-06 17:37:40

阅读数:138

评论数:0

Scrapy中诡异xpath的匹配内容失效问题分析

引言 在爬虫的世界里,xpath是一种非常简单易用的匹配规则,方便我们在web世界里提取需要的各类信息。本文将讲述一个xpath规则无效的问题分析过程。 环境介绍 Python 3.6.1 Scrapy 1.5.0 问题 在选用xpath之时,都是基于firefox或者chrome...

2018-05-06 16:38:44

阅读数:37

评论数:0

Nvidia Cuda安装指南

1. 检查是否存在显卡信息, 检查nvidia $ lspci | grep -i nvidia 输出结果类似的情况如下: 02:00.0 3D controller: NVIDIA Corporation Device 1b38 (rev a1) 04:00.0 3...

2018-04-27 21:08:38

阅读数:106

评论数:0

nvidia-docker安装指南

nvidia-docker 项目中的描述信息中提到: Build and run Docker containers leveraging NVIDIA GPUs, 为了更好地提供一套基于nvidia芯片的GPU服务,则创建的一个开源项目命令集合。 项目地址: https://github.c...

2018-04-25 16:25:34

阅读数:67

评论数:0

JuypterLab简明教程

JuypterLab Jupyter Lab究竟有哪些新的特性让整个Python业界如此兴奋呢? IDE 它是一个名副其实的IDE,且是一个基于网页的IDE(保留了全部的notebook特性)。我个人认为仅仅凭借这一条,Jupyter项目就是一个飞跃。这个集成环境不仅有Console,还有...

2018-03-29 16:48:12

阅读数:175

评论数:0

CentOS下ImportError: No module named '_sqlite3'之问题分析

问题环境依赖 问题提出 问题分析 总结 问题环境依赖 OS: CentOS 7.2 Python 3.5 问题提出 在运行一个Python程序之时,在调用sqlite之时,碰到如下的错误信息: Traceback (most recent call ...

2018-03-19 17:16:08

阅读数:223

评论数:0

Python下ImportError: DLL load failed: 找不到指定的模块之问题分析

环境依赖 问题的提出 问题的查找 问题的解决 总结 参考资料 环境依赖 OS: window 7, python 3.6 Anaconda: 5.0.1 问题的提出 在运行Python代码的时候,碰到了如下问题: runfile('D:/code/test...

2018-03-19 16:02:47

阅读数:3592

评论数:0

ElasticSearch之NoNodeAvailableException[None of the configured nodes are available问题解决

问题的提出 最近在学习ElasticSearch之时,基于Java客户端的代码来测试基本的操作,结果在写测试程序的时候,碰到如下问题: Mar 13, 2018 7:17:29 PM org.elasticsearch.plugins.PluginsService &l...

2018-03-13 20:18:07

阅读数:861

评论数:0

ElasticSearch学习笔记-索引构建

installation 在mac下安装可以直接使用brew来进行: brew install elasticsearch ## 基于界面的Front查询界面 可以安装chrome 浏览器中的elasticsearch head插件来查看。 另外也可以运行基于nodejs的h...

2018-02-13 13:36:22

阅读数:118

评论数:0

在Spring Boot快捷地读取文件内容的若干种方式

引言: 在Spring Boot构建的项目中,在某些情况下,需要自行去读取项目中的某些文件内容,那该如何以一种轻快简单的方式读取文件内容呢? 基于ApplicationContext读取 在Spring Bean中获取ApplicationContext引用的方式: @Comp...

2018-02-12 10:14:33

阅读数:825

评论数:0

非对称加密下RSA在Java的简明教程

引言 在现实世界中,每个人都有自己的密码。在各种系统中都有各类加密和解密的需求。 本文将详细介绍一下RSA的前身后世,应用场景和在Java中的实现,从理论到实践,一步到位,触手可用。 非对称加密与对称加密 对称加密(Symmetric Cryptography) 对称加密是最快速、...

2018-02-11 22:59:51

阅读数:112

评论数:0

DES加密在Java中应用之简明教程

引言 文本将介绍如何在Java中使用DES加密算法,进行文件和字符流信息的加密和解密过程。 DES算法在Java中的使用示例 DES算法 DES全称为Data Encryption Standard,即数据加密标准,是一种使用密钥加密的块算法,1977年被美国联邦政府的国家标准局确定为...

2018-02-10 13:56:37

阅读数:103

评论数:0

Spring Boot之Filter和Interceptor的对比分析

在Spring Web项目中,一般都是会用filter或者interceptor用来处理功能的Http请求或者响应结果信息,Filter与Interceptor既相似又有所区别,本文将进行对比分析两者的概念和用法。 功能定位 两者实现的功能和目的是一样的,都是用来拦截和处理Http请求,在...

2018-01-30 17:53:36

阅读数:402

评论数:0

基于Flask实现文件的上传功能的多实例Web服务

flask是Python中非常轻量的Web框架,允许开发者以非常少的代码实现各类的Web应用,本文将简单实例一个简单Web的文件上传功能的开发。 环境介绍 Centos 7.2, virtual env 下的python 3。 安装flask pip3 install fl...

2018-01-30 15:16:31

阅读数:383

评论数:0

ES6语法之读书笔记

let, const, var let 主要是用于声明绑定特定作用域的变量,且保障此变量需先声明后使用。以编译器的形式,保障其有效性。 常见的错误信息: ReferenceError # 先使用,未声明 const 保障声明的变量未被重复赋值。 var 在j...

2018-01-30 08:21:43

阅读数:99

评论数:0

Nodejs之NPM常用命令

NPM是Nodejs中的包管理工具,这里将npm中的常用命令记录一下,以备后续查询。 npm 查看npm的版本信息 npm version 安装命令 将包安装至全局类库 npm install -g package_name 将包安装至本地目录,用以开发。 ...

2018-01-29 20:11:34

阅读数:98

评论数:0

Spring Boot JPA Repository之诡异的existsBy查询方法失效问题

引言: Spring Boot号称微服务的利器,在结合了Spring Data与JPA之后,更是如虎添翼,开发快速的不像话,本文将讲述一个关于JPA中一个诡异问题的诊断分析过程以及修复方法。 环境介绍 JDK 1.8 Spring 4.2 Spring Boot 1.5.9 问题描述 ...

2018-01-26 17:31:41

阅读数:697

评论数:0

Python3下的ssl certificate:Can't connect to HTTPS URL because the SSL module is not available.问题解决

环境介绍 Centos 7, python 3 问题描述 pip3 install numpy 输出信息如下: pip is configured with locations that require TLS/SSL, however the ssl module in Pyt...

2018-01-21 21:06:25

阅读数:1618

评论数:0

Docker命令指南(一)

这里docker常用的命令用法。 Docker节点Clone Clone镜像到本地文件系统 docker pull image_name 示例: docker pull training/webapp 运行结果信息输出: Using default...

2018-01-21 19:04:29

阅读数:167

评论数:1

Docker运行之com.docker.supervisor failed to start Exit code 1 问题之解决

Docker是一个非常跨时代的工具,是在继虚拟化之后的新一个好用易用的工具,可以极大提升开发和部署的效率。本文将解决一个在Mac上部署Docker之时碰到的问题。 环境介绍 操作系统: MacOS 10.13.2 (17C205) Docker 版本: 17.12.0-ce-mac...

2018-01-20 22:12:22

阅读数:1179

评论数:0

Java命令行解析类库技术选型分析

虽然在Java领域中web程序应用广泛,但是基于Java开发命令行的工具也是非常使用的,本文将介绍一下在过去几天针对命令行工具Java类库的调研结果。 JCommander 项目地址: https://github.com/cbeust/jcommander Star: 1010 ...

2018-01-20 20:35:19

阅读数:143

评论数:0

Online UML工具技术选型分析

引言: 最近针对在线UML工具相关的类库,进行了技术选型调研,现在记录如下,方便后续查阅。 draw.io 站点: https://www.draw.io/ 类型: 开源 状态: 活跃 评价: 功能强大,支持各种类型的图形编辑工具,以及在线的所见即所得。 jsUML2 站点: ...

2018-01-09 19:45:00

阅读数:121

评论数:0

Tensorflow安装问题: Could not find a version that satisfies the requirement tensorflow

引言: Tensorflow大名鼎鼎,这里不再赘述其为何物。这里讲描述在安装python包的时候碰到的“No matching distribution found for tensorflow”,其原因以及如何解决。 简单的安装tensorflow 这里安装的tensorflow的cpu...

2018-01-05 14:10:13

阅读数:12059

评论数:4

统计Java进程开启的线程数的N中方法

引言: 在Java语言中,线程被广泛的使用,在大部分的情况下,大家其实都是不关心到底在Java Application中创建了多少个线程的,那该如何去查看进程到底启动了多少个线程呢?本文将给出若干种方法top命令 top -Hp pid 比如当前的pid为1212, 则可以查看进程的...

2017-12-26 18:35:16

阅读数:1698

评论数:0

技巧:如何将16进制的字符串转化为byte[]?

工具: org.apache.commons.codec.binary.Hex Maven的dependency:<dependency> <groupId>commons-codec</groupId> <artifactId>...

2017-12-19 20:04:34

阅读数:124

评论数:0

Python问题分析:AttributeError: module 'sys' has no attribute 'setdefaultencoding'

问题描述AttributeError: module 'sys' has no attribute 'setdefaultencoding'样例代码import sys sys.setdefaultencoding('utf-8')问题分析目前的Python版本是3.6.1,其默认的编码格式是ut...

2017-12-13 17:57:20

阅读数:4114

评论数:0

动态注入Spring中的Bean实例快速指南

引言: 在Spring中提供了非常多的方式注入实例,但是由于在初始化顺序的不同,基于标注的注入方式,都是静态方式的。在实际项目中,需要一种动态的方式来提取Spring管理的Bean,本文将介绍这样一种方式。

2017-12-12 13:50:05

阅读数:399

评论数:0

Mac下xcrun: error: invalid active developer path问题解决方法

引言: Mac系统下运行git之时的错误问题之解决办法问题起源在mac下,需要下载github下的某个项目: git clone xxx 但是报出了错误信息。错误信息如下:xcrun: error: invalid active developer path (/Library/Develop...

2017-12-10 21:38:48

阅读数:3535

评论数:0

Python下"No module named _tkinter"问题解决过程总结

引言:在Python3下运行Matplotlib之时,碰到了”No module named _tkinter“的问题,花费数小时进行研究解决,这里讲整个过程记录下来,并尝试分析过程中的解决思路利弊得失,以资后效,这里重点提示需要关注错误信息的分析,这个是第一现场。

2017-12-10 09:55:21

阅读数:15414

评论数:6

Git分支Branch使用指南

引言: Git由于其良好的分布式特性,被广为采用,本文将综述其核心的关键指令。 创建Branch git checkout -b ‘branch name’ 查看远程分支 git branch -a Options: -a 查看所有的branch ...

2017-12-05 13:09:51

阅读数:176

评论数:0

Spring Boot构建interceptor简明教程

1 定义interceptor直接上代码:@Slf4j @Component public class MyInterceptor extends HandlerInterceptorAdapter { @Override public boolean preHandle(Ht...

2017-10-31 18:45:15

阅读数:346

评论数:0

基于JPA获取查询中的单条记录

引言:JPA与SpringData中提供了诸多非常便利的方法,这里以如何以不书写SQL的方式来实现单条记录的查询。repositories.limit-query-result这个标题为Spring Data提供了内置功能,这些查询方法需要使用first/top等关键词,这两个关键词是彼此可以替代...

2017-10-13 16:23:40

阅读数:2670

评论数:0

使用nohup设置后台进程

引言: 有时候需要在Linux上设置一个后台进程,但是当你关闭terminal之时,它会被系统kill掉,那该如何来实现其后台进程能一直运行下去呢?使用方式 nohup command-with-options & 当在屏幕上敲击上述命令之后,屏幕上会出现如下信息: $ nohu...

2017-10-13 14:53:22

阅读数:538

评论数:0

Gnome自定义菜单简明教程

引言:从Ubuntu 17.10开始,Gnome重新回归成为Ubuntu的默认UI系统,作为一名自身Gnome的粉丝是非常乐见其成的,本文讲记录如何在Gnome中自定义Menu Item的过程。安装工具alacarte alacarte提供了界面工具,方便我们进行Gnome Menu项的增删改查操...

2017-10-06 23:57:54

阅读数:561

评论数:0

Spring Boot中实现可重载的MessageSource简明教程

引言: 在Spring Boot中messages中定义的信息,如果发生变更,则需要重启应用。那该如何实现才可以不重启应用的情况下替换messages中的展示信息呢?本文将给出一个简要的教程。1. MessageSoure的资源配置与读取在之前的文章中,已经介绍过了如何在Spring Boot中进...

2017-09-28 10:56:37

阅读数:4486

评论数:6

Spring Boot中支持i18n简明教程

引言: 本文将介绍如何在spring boot支持i18n的最简单设置。

2017-09-27 18:37:32

阅读数:2455

评论数:0

Spring Boot与Log4j2集成之java.lang.IllegalStateException: Logback configuration error detected:

引言: 一个问题的分析与解决过程是表与里的过程,是一个大胆猜测与小心求证的过程,spring boot与log4j2的集成过程中,我将描述一下分析这个问题的思路和过程。 我一直强调一点: 重要的不是解决问题的结论,而是解决问题的思路和方法,即使在解决完问题之后,依然需要回过头复盘,在问题分析过程中...

2017-09-27 11:54:23

阅读数:9251

评论数:3

Maven之Unable to load the mojo 'resources' (or one of its required components)

环境情况Eclipse, Java项目问题表现 Description Resource Path Location Type Execution default-resources of goal org.apache.maven.plugins:maven-r...

2017-09-11 10:04:26

阅读数:1841

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭