使用python将word文档里面的表格数据导出到CSV文件中 在word文档中出现的表格通常不利于查找,往往需要转换为EXCEL文档中才方便进行操作,本文提供的python代码能够将word文档中出现的所有表格格式的数据提取到CSV文件中。初始的Word文档:导出后的CSV文件:目前存在的问题:大数据量没试过,不过一般也不会有太多数据的word文档;导出的CSV每行数据之间有一个空格行代码:from docx import Docume...
使用Python划分矩形网格爬取百度POI数据 原文地址:http://www.mapboxx.cn/article/bmappoi/各大互联网地图厂商均提供了开放的POI数据,不过各个地图几乎都对一个城市能采集的POI数量有限制,高德地图是900条,百度更狠,才400条,这种很明显与实际的数量相差甚远,因此,可以采用将大范围划分为N多个小矩形范围,调用百度提供的矩形范围POI爬取接口,将各个小矩形爬取的POI汇总,即可得到大区域内的所有PO...
百度地图POI边界坐标数据采集 原文地址:百度地图POI边界坐标数据采集在线工具地址:百度地图POI边界数据采集工具由于之前探索过高德地图POI数据边界坐标的采集,后面接口太不稳定,很难能稳定成功采集到数据,该功能搁置了一段时间,最近在@entropy同学的帮助下,完成了利用百度地图接口采集POI边界的功能。不过在此提前说明下,不论百度还是高德,各自都是利用POI的ID来完成边界坐标的采集的, 相同的POI数据,在高德和百度...
使用Python划分矩形网格爬取高德POI数据 原文地址:http://www.mapboxx.cn/article/poi-pology/背景高德地图提供了三种方式来获取POI数据:根据关键字进行搜索指定城市内的POI数据,比如爬取广州市的大学;爬取某个中心点一定半径范围内的数据;爬取某个多边形范围内的数据。根据关键字搜索的可以参见目前实现的工具:http://www.mapboxx.cn/tool/poiview/本次打算...
MYSQL中的存储引擎 原文地址:https://liujiao111.github.io/2019/09/17/mysql-yinqing/什么是存储引擎存储引擎在MySQL的逻辑架构中位于第三层,负责MySQL中的数据的存储和提取。MySQL存储引擎有很多,不同的存储引擎保存数据和索引的方式是不同的。常见的有四种存储引擎:InnoDB、MyISAM、MEMORY、MERGE等。每一种存储引擎都有它的优势和劣势。...
Linux cp命令直接覆盖不提示方法 在有时拷贝文件比较多的目录,cp覆盖时,无论加什么参数-f之类的还是提示是否覆盖,这在cp覆盖操作的时候是不能忍受的。把a目录下的文件复制到b目录代码如下cp –r a/* b执行上面的命令时,b存在的每个文件都会提示是否覆盖;cp –r –f a/* b执行上面的命令时,b存在的每个文件都不再会提示;这是我们希望的理想状态,但是有时加了-f了,怎么还会有提示呢?原来一些...
使用代理+python+js实现高德地图单个POI边界数据的爬取以及可视化展示 为了更好的阅读体验,请移步这里:http://www.mapboxx.cn/article/poiboundary/介绍由于之前爬取高德地图爬取POI边界,不过后面IP限制的比较严,所以导致没法像以前那样大规模爬取,不过最近发现了IP代理是解决IP封禁的一个极佳的办法,今天申请了阿布云的免费试用代理,用起来挺简单也挺好用,发现确实能解决IP封禁的问题。目前只实现了爬取单个POI边界并可视化的过...
常用坐标系简介以及转换(附在线转换工具及代码) 原文地址:http://www.mapboxx.cn/article/geography/坐标系的基本概念坐标系分为地理坐标系和投影坐标系,以下是对这两种坐标系的解释:地理坐标系:为球面坐标。参考平面地是椭球面,坐标单位:经纬度投影坐标系:为平面坐标。参考平面地是水平面,坐标单位:米、千米等地理坐标转换到投影坐标的过程可理解为投影(投影:将不规则的地球曲面转换为平面)常见的...
Linux中的screen命令使用 新建一个名叫 test 的session,并马上进入screen -S test创建一个名叫 test 的session,但暂不进入,可用于系统启动脚本里screen -dmS test列出当前所有sessionscreen -ls进入一个名为test会话screen -r test远程脱离(detach) test 会话screen -d test脱离(detach)当前会话...
springboot html引入js、css失效和没有用原因解决 springboot scr的resouces下有两个文件夹 static 和templates,第一个是放静态资源的文件,js css还有图片等,如果在static目录下建的html页面,那么和普通工程引入js css一样的做法一样就能成功,但是如果html界面是在templates下面的话,引入js css就无效了,不用担心只需两个步骤就可以解决这个问题1、在pom中引入<depen...
小程序云开发报错:VM86:1 [云函数] [login] 调用失败 Error: errCode: -404011 cloud function execution error | errMsg: 具体报错信息:VM86:1 [云函数] [login] 调用失败 Error: errCode: -404011 cloud function execution error | errMsg: cloud.callFunction:fail cloud function service error code -504002, error message Function not found: ...
微信小程序云开发demo项目部署报错:V[云函数] [login] 调用失败 Error: errCode: -404011 cloud function execution error | errM 报错详情:从报错来看好像是选择的环境不存在,解决办法:在miniprogram下的app.js中配置环境ID,具体找法:点击云开发->打开云开发控制台->点击右上角的设置,在下面即可看到环境ID...
Java中使用TransportClient客户端操作Elasticsearch 原文地址:https://liujiao111.github.io/2019/07/17/es-base/ES简介ElasticSearch 是一个分布式、高扩展、高实时的搜索与数据分析引擎。它能很方便的使大量数据具有搜索、分析和探索的能力。充分利用ElasticSearch的水平伸缩性,能使数据在生产环境变得更有价值。ElasticSearch 的实现原理主要分为以下几个步骤,首先用户将数据...
微信小程序把用户上传的图片上传到服务器端前端详细操作 //第一步 保存用户上传的图片 chooseImage: function() { wx.chooseImage({ count: 1, //选择图片的数量 默认为9 success: (res) => { console.log(res) //tempFilePaths 图片的本地临时文件路径列表 ...
微信小程序 在异步的success方法中使用this.setData() 比如page的data里有一个message,想要在执行wx.request成功的时候修改它的值 data: { message:"hi~" }一般很容易这样写: wx.request({ url: 'https://www.some.com/user', method:'POST', data: { code: res.code ...
Java SpringBoot集成Spring Data Jpa,并完成增删改以及复杂多条件查询 原文地址:https://liujiao111.github.io/2019/07/01/java-data-jpa/JPA(Java Persistence API)意即Java持久化API,是Sun官方在JDK5.0后提出的Java持久化规范(JSR 338,这些接口所在包为javax.persistence。PA的出现主要是为了简化持久层开发以及整合ORM技术,结束Hibernate、To...
java中使用freemaker将HTML导出到word文档,包括在线与本地的图片 原文地址:https://liujiao111.github.io/2019/07/04/html2word/背景介绍由于在项目中需要将富文本生成的HTML文档内容导出为word,并且里面的图片可能来自于用户上传,也可能是来源于网络图片,因此需要在生成的word中做特别的处理。导出的工具使用freemaker,首先说明的是这个也有一定的局限性,在样式匹配度上可能有一定的差异,不过功能是没问题的...
华为手机ADB调试问题解决 原文地址:https://blog.csdn.net/qq_37788558/article/details/79035477ADB安装:下载地址:https://adb.clockworkmod.com/ 安装完后插入安卓设备且安卓已打开 USB 调试模式,终端输入 adb devices ,显示设备号则表示成功。如果是列表为空说明失败。我的华为手机连接电脑后,安装华为应用助手,驱动显示正...
《代码整洁之道》读书笔记(四)之格式篇 原文地址:https://liujiao111.github.io/2019/06/19/clean-code-fomat/格式关乎沟通,代码格式很重要,必须严肃对待,因为你现在写的代码可能以后由其他人维护。好的代码格式应该遵循以下规则:应该保持良好的代码格式选用一套代码格式规则,并贯彻这些规则。如果在团队中,每个成员都应该采用一套简单的格式规则垂直格式源代码文件应该有多大?类应该有多...
注释-《代码整洁之道》读书笔记(三) 原文地址:https://liujiao111.github.io/2019/06/20/clean-code-doc/好的注释有巨大的好处,而坏的注释却是大恶。注释是为了弥补代码表达意图的失败,因此,注释总是一种失败,所以要写注释之前,看看能否用代码来表达因为代码最可信,代码会变动,而注释不总是跟着变,它会撒谎。注释不能美化糟糕的代码尽量将代码写得带有少量注释,而表达式更强、更整洁用代...
地图相关文章汇总导航 包括POI数据、热力数据爬取、数据可视化文章 由于博客上写了好几篇关于地图数据爬取以及可视化的文章,为了方便搜索,因此在这里汇总了各篇文章的链接地址, 各位看官看需求自取,希望能对你有帮助,谢谢阅读。高德地图POI数据爬取:https://liujiao111.github.io/2019/06/17/gmap-poi/高德地图根据矩形范围爬取POI数据:https://liujiao111.github.io/2019/06/19/...
函数-《代码整洁之道》读书笔记(二) 原文地址:https://liujiao111.github.io/2019/06/19/clean-code-function/目录:名称命名规则-《代码整洁之道》读书笔记(一):https://liujiao111.github.io/2019/06/18/clean-code/函数-《代码整洁之道》读书笔记(二):https://liujiao111.github.io/2019/0...
名称命名规则-《代码整洁之道》读书笔记(一) 原文地址:https://liujiao111.github.io/2019/06/18/clean-code/变量命名是程序最基础的部分,也是多数人容易忽视的部分,总认为它无足轻重,事实不然,命名规范的代码能让人看起来赏心悦目、清晰明了。以下是一些在变量命名时候适合遵循的一些规则。名副其实变量、函数、类的名称应该能回复所有大的问题,它告诉你,它为什么存在,它做什么事,应该怎么用。如果名称需...
Java高级、机器学习等学习资源汇总大全 自己收集整理的一系列视频、文档学习资源,包括但不限于Java、数据结构、大数据、机器学习、爬虫,还有考研、权游无删减版1-6集哦!无套路全免费分享,资源全部都是自己整理归档的,并且几乎都是可以在线看的。资源汇总地址:https://liujiao111.github.io/2019/06/13/learn-data/欢迎访问,留言,有好的资源也欢迎联系我共享。...
git基础命令备忘 GIT基础以及本地版本管理git设置用户名和邮箱:git config --global user.name "Your Name"git config --global user.email "email@example.com"注意:版本控制系统,其实只能跟踪文本文件的改动,比如TXT文件,网页,所有的程序代码等等,它可以告诉你每次的改动,比如在第5行加了一个单词“Linux”,在第...
SpringBoot集成Spring JdbcTemplate并完成增删改查操作 JdbcTemplate是Spring用来简化JDBC操作的核心类,有助于与Spring集成,并且避免了过多冗长的JDBC代码。不过在实际使用中,我们通常使用NamedParameterJdbcTemplate代替JdbcTemplate,因为在传入的参数不确定的时候,使用它会是更好的选择。在本文中,我会介绍如何在SpringBoot中使用NamedParameterJdbcTemplate来完成...
SpringCloud中Eureka提供的功能 Registe服务注册当 Eureka Client 向 Eureka Server 注册时, Eureka Client 提供自身的元数据,比如 IP 地址、 端口、运行状况H1标的 Uri、 主页地址等信息。Renew服务续约Eureka Client 在默认的情况下会每隔 30 秒发送一次心跳来进行服务续约。通过服务续约 来告知 Eureka Server 该 Eureka Clien...
SpringBoot项目连接ElasticSearch时报错:None of the configured nodes are available 问题描述:在springboot项目中使用TransportClient方式连接ES,完整报错:org.elasticsearch.client.transport.NoNodeAvailableException: None of the configured nodes are available背景SpringBoot版本:1.5.11ES版本:7.0.0项目中配置文件:...
Java中ArrayList和LinkedList的性能对比 结论ArrayList是实现了基于动态数组的数据结构,LinkedList基于链表的数据结构。对于随机访问get和set,ArrayList觉得优于LinkedList,因为LinkedList要移动指针。对于新增和删除操作add和remove,LinedList比较占优势,因为ArrayList要移动数据。代码package cn.migu.music.web.controller...
windows10家庭版安装docker 由于Windows10家庭版无法安装docker,因此在正常安装前需要做一点非常规手段,这样才能保证成功进行docker的安装。家庭版是可以通过脚本开启Hyper-V来安装Docker Desktop的。下面就教大家如何操作。开启Hyper-V添加方法非常简单,把以下内容保存为.cmd文件,然后以管理员身份打开这个文件。提示重启时保存好文件重启吧,重启完成就能使用功能完整的Hyper-V了。...
基于百度地图APi封装的多边形边界圈选工具 简介当我们需要POI边界数据时,我们第一想法是爬取高德或者百度地图提供的数据,不过由于它们的接口都有反爬限制措施,爬取边界坐标并不是一件容易的事情,并且即便能爬,也有些POI并没有边界坐标数据,这时候只能自己手动圈选需要的范围,然后获取到边界坐标。这个工作一般情况下是使用ARCGIS等工具来完成,不过由于ARCGIS比较庞大,如果不是大规模圈选的话就没必要使用ARCGIS了,因此就想着能否提供一...
根据城市名和分类名爬取对应的POI数据(基于高德地图) 由于在很多情况下,我们需要爬取某个城市的一个分类下面的POI数据,比如需要南宁的所有大学、图书馆等POI数据,这时我们可以借助爬虫,基于高德地图提供的数据接口,爬取POI数据,后续可以基于数据做数据分析等。那么应该如何爬取数据呢?这里提供了一份基于python进行数据爬取的代码,可以爬取一个城市的分类POI数据。步骤及代码如下:首先,需要在高德地图开放平台上注册账号,并且申请web服务的密钥,...
Docker容器随着SSH客户端连接退出而结束的问题 在没有 docker 容器的时候,在终端(terminal)中运行 shell 命令,我们知道当终端退出时(比如关闭终端窗口或退出 ssh 会话),终端中执行的命令也会结束。所以,当我们在终端中执行持续运行的任务或服务时,我们需要让其跳出当前 shell 进程,在后台运行(比如以 daemon 方式运行)。在最近刚接触 docker 容器时,我误以为 docker 容器是一个轻量级的虚拟机(vm...
SpringBoot集成Redis ###简介在当今的互联网应用中,缓存可以说是无处不在的,合理使用缓存可以极大提升网站性能,在众多的缓存框架中,redis是比较流行的NoSql数据库,在SpringBoot中集成Redis是比较简单的,下面就具体说说集成的过程。配置maven依赖&amp;lt;!-- redis依赖 --&amp;gt; &amp;lt;dependency&amp;gt; &amp;lt;groupId&am
Jenkins实战教程(一) 1. Jenkins是什么Jenkins是一个基于Java开发的自动化部署以及持续交付平台,通过简单的配置便可以完成检出代码、编译构建、运行测试、远程部署、启动等一整套部署流程,大大简化了原先一系列重复的打包部署过程,从而节省了时间,提升工作效率,使程序员可以更加专注业务代码,而无需把太多的时间浪费到一系列的繁琐部署流程上。2. Jenkins特点:基于JAVA构建,支持CI、CD;安...
MySQL索引的Index method中btree和hash的区别 在MySQL中,设计表结构的时候可能会为表设索引,其中有个选项是Index method ,其中有两个选择:BTREE和HASH,那他们两有什么区别呢?大多数索引(如 PRIMARY KEY,UNIQUE,INDEX和FULLTEXT)都是在BTREE中存储,但使用memory引擎可以选择BTREE索引或者HASH索引,两种不同类型的索引各自有其不同的使用范围。Hash 索引结构的特殊性,其检索...
自然语言处理中常用的文本清理流程 在自然语言处理中,尽管文本清理受所做的任务影响比较大,但是有一些通用的清理流程标准是通用的,比如是否有必要替换URLS,时间,货币,姓名,地名,数字等。 我们以英文文本为例,大致将文本处理流程分为以下几个步骤: - Normalization - Tokenization - Stop words - Part-of-speech Tagging - Named Entity Reco...
python获取城市区域边界坐标 `# -- coding:utf-8 --#第一行必须有,否则报中文字符非ascii码错误import urllib.requestfrom urllib.parse import quoteimport numpy as npimport jsonimport pandas as pdfrom pandas import Series, DataFrame#TODO#高德上申请...
python中一些提升工作效率的小技巧 python中一些提升工作效率的小技巧python是一门简洁而优雅的语言,在编程时,掌握一些小技巧,不仅可以帮助我们提高工作效率,也能让代码变得简洁,自己看起来舒服就够了,别人看起来爽那还不够吗?这篇文章会持续收录一些编程小技巧,提升自己的同时希望也能跟大家分享。1. 变量值互换: x, y = 1, 2 print(x, y) x, y = y, x ...
RNN实现影评情感分析 在这里我们将使用RNN(循环神经网络)对电影评论进行情感分析,结果为positive或negative,分别代表积极和消极的评论。至于为什么使用RNN而不是普通的前馈神经网络,是因为RNN能够存储序列单词信息,得到的结果更为准确。这里我们将使用一个带有标签的影评数据集进行训练模型。使用的RNN模型架构如下: 在这里,我们将单词传入到嵌入层而不是使用ONE-HOT编码,是因为词嵌入是一种...
神经网络中超参数的选择 超参数是在开始学习过程之前设置值的参数,而不是通过训练得到的参数数据。通常情况下,需要对超参数进行优化,给学习机选择一组最优超参数,以提高学习的性能和效果。首先需要知道的是并不存在适用于所有场景的超参数,不同的数据集、模型适用的超参数可能不同,因此我们需要尝试不同的超参数,然后得到最优。超参数的分类:一般可以将超参数分为两类: 优化器超参数:包括学习率、minn_batch大小、...
JSONP解决跨域问题 环境: 前端:Jquery + AJax 后台:SpringMVC实现思路:前端传入一个JS回调函数名,后台将数据转换为字符串,并用函数名包裹起来,组成一个函数的形式返回前端,前端的回调函数就可以接收到返回的数据。前端调用:function onBack(data){ alert(JSON.stringify(data))}$.ajax({ url: 'htt...
高德地图之根据矩形范围爬取范围内的分类POI数据 目前代码已经做了升级处理,参见:http://www.mapboxx.cn/article/poi-pology/下面的可以不用看啦。。。 之前写了一篇在城市范围内根据关键字爬取POI数据的博客,由于一个城市的POI数据量太大,高德地图接口容易返回错误数据,因此有个比较好的办法就是借助高德地图POI搜索中根据多边形范围或矩形范围搜索POI数据,具体分为两个步骤:其一...
深度学习之人脸检测实践 人脸检测通常是人脸识别等复杂任务的第一步操作,目前主流的人脸检测算法:https://zhuanlan.zhihu.com/p/24816781。这里主要记录一些常用的算法实践,目前只有OpenCV提供的Haar级联检测和调用Face++的人脸检测接口,后续实践后会补充,相当于做个小小的积累。1. OpenCV的Haar级联检测: 安装OpenCV; 下载人脸检测模型:...
机器学习和深度学习中的正则化 正则化是在机器学习和深度学习中作为一种抑制过拟合的比较有效的手段之一,好的算法应该具有良好的泛化能力,即不仅要在训练集数据上表现良好,推广到未知的测试数据时,也能有良好的表现。正则化是一类通过显式设计降低泛化误差来提升算法通用性的策略的统称。由于深度学习中隐藏节点众多,涉及到的参数也众多,正则化就变得尤为重要。本文从正则化定义与正则化的分类两方面来阐述这一概念。一、正则化的定义: 正则...
TensorFlow实现卷积自编码器对图像进行去噪 一、概念介绍自编码器是一种执行数据压缩的网络架构,其中的压缩和解压缩功能是从数据本身学习得到的,而非人为手工设计的。自编码器的两个核心部分是编码器和解码器,它将输入数据压缩到一个潜在表示空间里面,然后再根据这个表示空间将数据进行重构得到最后的输出数据。编码器和解码器都是用神经网络构建的,整个网络的构建方式和普通的神经网络类似,通过最小化输入和输出之间的差异来得到最好的网络。二、作用 ...
Keras中使用CNN来完成MNIST手写体识别 在上一篇文章中,使用了传统的多层感知机神经网络来实现手写体识别,具体参见这里,最终获得了大概97%的神经网络,还能不能得到更高的准确率的,答案当然是肯定的,那就是卷积神经网络CNN。在这里我们使用keras的CNN网络来实现MNIST手写体识别任务。具体的步骤与之前类似,直接贴代码吧:import numpy as npf = np.load('mnist.npz')x_train...
keras中使用MLP(多层感知机)神经网络来实现MNIST手写体识别 Keras是一个基于python的的深度学习框架,比tensorflow更简单易用,适合入门学习,本篇文章主要介绍使用keras实现手写体识别任务。环境为python3+,Keras2.1,神经网络基础知识在此不做过多介绍。 1. 加载MNIST数据。 方式一:from keras.datasets import mnist(X_train, y_tr...
使用sina服务获取客户端IP地址以及所在城市[JS方式] 新浪提供了许多接口来查询IP所在的城市,不过目前有的已经停止服务了,这里主要介绍一个接口以及用法。 1. 在HTML页面中引入JS文件<script type="text/javascript" src="http://pv.sohu.com/cityjson?ie=utf-8"></script> 该JS文件需要你的电脑能够联网。该接口返回了当前...
高德地图之热力图的3D立体效果展示 由于最近做地图可视化方面的东西比较多啦,所以做了点比较新鲜的东西就想跟大家分享一下, 哈哈,虽然都是比较简单的,不过真遇到比较刁难的需求的话还是得费一番功夫寻找的,因此希望我的分享能帮助到别人。 话不多说,先看效果吧,一个是3D热力图的:另一个是银色的道路网:看起来效果还不错吧。。。具体实现是借助高德地图新出的3D loca可视化功能完成。由于具体示例...
常用坐标系转换的工具类--Python版本 # -*- coding: utf-8 -*-"""Created on Wed Jan 24 17:00:23 2018@author: liuj"""import mathimport jsonfrom urllib.request import urlopenfrom pyproj import Proj p = Proj(datum= 'NAD83',proj='u...
常用坐标系转换的工具类--Java版本 由于项目中需要进行坐标系转换,主要是WGS84(大地坐标系,如谷歌地图)、GCJ02(国测局坐标系,如高德地图)、BD09(百度坐标系)三种主流坐标系之间的转换,因此写了一个转换的工具类,当然,如高德地图、百度地图都提供了在线的坐标转换服务,如百度的参见:http://lbsyun.baidu.com/index.php?title=webapi/guide/changeposit...
linux服务器上下载的csv文件在window环境下用excel打开的乱码问题解决 【问题产生原因】Excel默认并不是以UTF-8来打开文件,所以在csv开头加入BOM,告诉Excel文件使用utf-8的编码方式。【核心代码】 重点代码:os.write(new byte []{( byte ) 0xEF ,( byte ) 0xBB ,( byte ) 0xBF });response.setContentType("application/force-...
高德地图之python爬取POI数据及其边界经纬度(根据关键字在城市范围内搜索) 写在前面目前高德的边界没法批量爬取,不过可以采用百度地图的接口来替代,目前用着还可以,参见这里: http://www.mapboxx.cn/article/boundary/为了方便大家,不用再为安装环境,以及运行报错等问题困扰,目前已经将POI数据爬取做成一个在线公开的数工具,地址奉上: http://www.mapboxx.cn/tool/po...