- 博客(166)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 python url地址传json数据
import jsonimport requestsimport urllibfrom scrapy.http import Request, FormRequestdata ={'fileinfo':{'id':'XXXXXX','Name':'XXXX'}}values = urllib.parse.urlencode(data).encode(encoding='UTF8')h...
2018-08-13 18:26:11
3890
原创 URL中中文编码的问题
在做爬虫时需要确保附件的下载正确在操作中发现附件的下载地址存在中文，点击下载之后的链接是URL的编码格式中文：附件下载表：utf8编码： %E9%99%84%E4%BB%B6%E4%B8%8B%E8%BD%BD%E8%A1%A8gbk编码： %B8%BD%BC%FE%CF%C2网站的解析是gbk编码格式，如果直接复制下载地址，在地址栏下载，浏览器会自动转换为ut...
2018-08-09 18:43:03
635
原创 网络抓包工具-wireshark
同事在网站需要下载pdf，但是发现页面没有下载按钮，也无法F12，查看网络。和田地区“雪亮工程”建设PPP项目其中一个pdf 新疆维吾尔自治区和田地区“雪亮工程”建设PPP项目物有所值评价报告的批复.pdf其中调用do方法，地址 www.cpppc.org:8083/efmisweb/ppp/projManage/perview.do，可是文件无法下载。ping 一下网站地址 ...
2018-07-26 17:37:33
2226
原创 mongodb聚合查询-JPA
想完成类似sql的group操作，根据日志统计每天一个操作类型的用户总数总数 ，同一用户在一天的多个操作算作一次。方法一，使用Query方式，先写mongodb语句db.getCollection('log').aggregate( [ {$match:{username:"1581234567"}}, { $group : { ...
2018-07-17 14:30:45
3189
原创 python下selenium模拟浏览器操作
插件下载selenium安装：pip install selenium即可自动安装selenium geckodriver下载：https://github.com/mozilla/geckodriver/releases 主要看Firefox浏览器、Selenium、geckodriver三个所要求的版本几个环境变量1.全局path下增加firefox的路径 2.下载解压后...
2018-07-14 17:45:36
381
原创 mongodb语句
//查询ctime为空、删除ctime字段db.getCollection('certificate').update({'ctime':''},{$unset:{ctime:1}},{multi:true})//删除字段，使用unsetdb.getCollection('schedule').update({},{$unset:{'cid':''}},{multi:true})...
2018-07-14 17:35:26
287
原创 excel数据导入mongdb
步骤一：将certificate.xlsx 另存为 certificate.csv步骤二、执行 imongoimport命令之前先进行文件编码转换（防止乱码先将CSV文件编码转为utf-8）windows下：首先，将.csv文件保存一下，然后鼠标右击打开方式记事本。文件-另存为 这时弹出一个窗口，右下方，编码，这时候你就可以选择自己想要的编码格式，然后保存，就可以了步骤三、执行 imo...
2018-06-19 09:59:46
363
原创 Calendar 日期double类型查询处理
系统中将Calendar生产的时间转换为了double类型保存到数据库中。因此在查询时间时需要对传入的日期进行转换。查询具体某一天的数据，思路是查询当天0点到23点的数据。//时间精确到毫秒，保存数据的时候扩大了1000倍//获取指定日期0点public static double todayFirstDate(int year,int month,int day) { Ca...
2018-06-06 09:53:24
509
原创 JPA实现Bootstrap table分页、排序与模糊查询
自己实现Bootstrap table的分页、排序与模糊查询功能要点 1.前台js需要在初始化bootstrapTable时，设置需要传递的参数queryParamsType : "undefined",queryParams: function queryParams(params) { //设置查询参数，都是可以自动从控件获得 var param = { ...
2018-05-03 19:08:21
2907
原创 Bootstrap学习3
1.nav目录与页面跳转保持一致activehtml代码<ul id="main-nav" class="nav nav-tabs nav-stacked leftUl"> <li> <a href=&qu
2018-04-10 09:52:00
186
原创 BootStrap学习2
1.for代码 其中：for=”inputEmail3”表示：当你点击label的标签体时，就等于点击了 id为inputEmail3的元素<div class="form-group"> <label for="inputEmail3" class="col-sm-2 control-label">邮箱</label> <d
2018-03-27 14:05:53
478
原创 Bootstrap学习
后台页面的设计准备使用Bootstrp，学习之。中文文档：bootstrap中文文档，需要的样式、组合、js都可以在文档中获取。另一个网站，查找功能更方便：Bootstrap 教程 在慕课上看了视频 基于bootstrap的网页开发 制作了一个简单的页面，源码网上都有 预览：现代浏览器博物馆总结几个问题：1.样式文件的引用：放在head中：<link hr...
2018-03-23 17:03:45
234
原创 Hbuilder mui使用问题总结
1.三个div并排，中间input，使用float不再一层div层<div class="title"> <div class="left"><img src="../img/index_left.png" style="width: 33px;height: 33px;"></div>
2018-02-08 20:49:02
2009
原创 Cmder安装
看视频的时候看到有使用cmder，感觉界面功能都不错，下载使用。参考https://www.cnblogs.com/zqzjs/archive/2016/12/19/6188605.html提示符的修改：（λ改成）进入解压后的cmder的目录，进入vendor,打开clink.lua文件:将第41行中lamb修改为） 进入解压后的cmder的目录，进入vendor,打开clink.lua文件:将
2018-01-23 15:34:28
481
原创 MyBatis练习
MyBatis环境搭建MyBatis环境搭建JAR：使用Maven方式mybatis-3.3.0.jarmysql-connector-java-5.1.12.jar配置文件方式配置文件，SqlSessionFactory（.xml）：conf.xml主要两部分，environments配置环境变量，mappers映射，该⽂件需要放在根目录下，即src/main/java目
2018-01-19 18:33:04
1282
原创 事务
1.正常事务模式//1.1开始事务conn.setAutoCommit(false);//1.2事务结束conn.commit();//1.3事务回滚conn.rollback();2.检查点//2.1检查点Savepoint sp = null;//2.2保存点sp=conn.setSavepoint();//2.3测试保存点，手动抛出异常throw new SQLExcept
2018-01-18 16:37:44
196
原创 数据库连接池DBCP
使用数据库连接池方式与普通方式对比package com.micro.profession.jdbc.practice;import java.sql.Connection;import java.sql.DriverManager;import java.sql.ResultSet;import java.sql.SQLException;import java.sql.Statement
2018-01-18 15:01:07
219
原创 JDBC程序
代码package com.micro.profession.jdbc.practice;import java.sql.Connection;import java.sql.DriverManager;import java.sql.ResultSet;import java.sql.SQLException;import java.sql.Statement;public class H
2018-01-17 23:30:05
242
原创 Tomcat配置Maven
1.配置Tomcat用户打开 tomcat 安装目录，进入 conf 文件夹下，找到对应的 tomcat-users.xml 文件； 将文件中所有内容删除，加入以下内容并保存；tomcat-users>role rolename="manager-gui"/>role rolename="manager-script"/>user username="admin" passw
2018-01-10 22:04:44
4653
原创 1545 Failed to open mysql.event
mysql> show events; Empty set (0.01 sec) ERROR 1545 (HY000): Failed to open mysql.event1.mysql> drop table mysql.event;2.mysql> use mysql;3. mysql> show create table mysql.event; CREATE TABLE event
2017-09-19 18:16:40
2051
原创 Linux下使用mysql遇到的问题
刚开始是遇到提示权限不足Access denied for user ''@'localhost' to database 'mysql'，一顿乱搞，以为真的是权限的问题，关闭了权限验证mysqld_safe --skip-grant-table。重启机器之后还是不行。在之后可能进行了误操作把建好的数据库也搞丢了。后来成了这个错误，在路径中我也没有找到这个文件Can't connect to loc
2017-09-13 20:45:54
443
原创 脚本语言
xsync.sh#!/bin/bashif [[ $# -lt 1 ]] ; then echo no params ; exit ; fip=$1#echo p=$pdir=`dirname $p`#echo dir=$dirfilename=`basename $p`#echo filename=$filenamecd $dirfullpath=`pwd -P .`#echo f
2017-08-23 11:19:21
434
转载 Windows环境中MR任务的三种运行方式
本地运行 解压hadoop安装tar包hadoop-2.5.0-cdh5.3.6.tar.gz，下载地址：http://archive.cloudera.com/cdh5/cdh/5/设置环境变量HADOOP_HOME，需要确保当前用户可以访问(在eclipse中可以访问到) 解压hadoop-common-2.2.0-bin-32.rar压缩包，将压缩包中的文件全部复制到${
2017-08-22 09:20:51
3793
原创 IDEA安装Scala，版本对应
IDEA安装Scala，版本对应一、下载插件1、找到与IntelliJ IDEA对应的scala版本2.在弹出的对话框中点击Plugins，然后点击Install JetBrains plugin3.在搜索框中输入scala，点击scala，在对话框右边出现该IntelliJ对应的scala版本，从图中看到该版本的IntelliJ对应的scala版本是v20
2017-07-31 10:42:51
32356
4
原创 Echarts地图省市关联下钻，读取数据库中数据
js文件$(function() { // $('.chart').resize(function () { // myChart.resize(); // }); $.ajax({ type: "post", async: false, //同步执行 url: "/test/getCityDat
2017-07-24 17:04:34
1250
原创 echarts地图使用问题，下钻
echarts地图使用问题，下钻1.如果加载json格式的地图数据，需要服务器的支持，我是用的是tomcat2.版本不同，加载地图方式不一样，并且显示不同版本3.x版本2.x 但是我没有跳出区县的地图，最后放弃了，使用3.x版本要加载地图，map值应该与js或者json中一致：一般为中文，（在官网下载的地图包：http://ecomfe.github.i
2017-07-20 17:13:06
3292
1
原创 Maven笔记
参考：http://www.cnblogs.com/xdp-gacl/p/4240930.htmlpom.xml文件的节点元素说明： <project> pom文件的顶级节点 <modelVersion> object model版本，对Maven2和Maven3来说，只能是4.0.0 <groupId> 项目创建组织的标识符，一般是域名的倒写
2017-07-12 16:20:54
246
原创 FreeMarker笔记
FreeMarker模板 + 数据模型 = 输出将HTML静态页面中的内容用${...}代替，数据是在FreeMarker之外准备的数据模型：可以被看作是树形结构哈希表：扮演目录的角色，它用于存储其他变量，通过名称来查找。一种存储变量及其相关且有唯一标识名称的容器。标量：存储单值的变量。可以是字符串，数字，日期/时间或者布尔值。序列：像哈希表那样存储子变量，但是子变量没有名
2017-07-12 13:40:09
293
原创 SpringMVC+Maven+FreeMarker+MyBatis 使用
由于项目需要转手做Java开发，对公司的项目了解之后，自己配置了一个简单的页面。
2017-07-11 13:53:33
564
转载 JSP内置对象
post发送方式<%@ page language="java" contentType="text/html; charset=UTF-8" pageEncoding="UTF-8"%><!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd">
2017-07-03 17:04:38
190
原创 Spark安装 测试
Spark与Mapreduce对比 MapReduce Spark 数据存储结构：磁盘hdfs文件系统的split 使用内存构建弹性分布式数据集RDD， 对数据进行运算和cache 编程范式： Map + Reduce DAG(有向无环图)： Transformation + action 计算中间数据落磁盘， io及序列化、 反序列化代价大 计算中间数据在内存中维护，
2017-02-15 12:10:07
821
1
原创 SCALA与IDEA安装
Scala安装（linux上安装）JDK安装好上传文件：ideaIC-14.1.1.tar.gz，scala-2.10.4.tgz，scala-intellij-bin-1.4.15.zip解压scala-2.10.4.tgz（linux上，windows是zip结尾） tar -zxvf /opt/software/scala-2.10.4.tgz 给解压后的路径创建一个软连接/opt/m
2017-01-08 11:24:32
1366
原创 Nginx安装使用
Nginx 一个高性能的web服务器，对于静态资源的访问速度非常快 版本：http://tengine.taobao.org/tengine 使用源码编译进行安装命令： ===> 使用root用户进行安装# su root进入软件所在目录cd /opt/modules上传tengine-2.0.2.tar.gz到/opt/softwares文件夹中解压tar -zxvf /o
2017-01-05 11:01:47
359
原创 Phoenix
一、Phoenix的安装编译修改pom->针对于Apache版本 <hbase.version>0.98.6-hadoop2</hbase.version> <hadoop-two.version>2.5.0</hadoop-two.version>针对CDH版本：需要添加CDH源解压源码包，进入路径，进行编译 mvn clean package -DskipTests编译完成
2016-12-22 11:01:35
512
原创 HBase高级
一、hbase中的常见属性 VERSIONS：指版本数 MIN_VERSIONS=> '0'：最小版本数 TTL=> 'FOREVER'：版本存活时间 假设versions=10,mini_version=4 到达TTL时间后，version-mini_version=6，最老的6个版本的值
2016-12-22 09:45:19
2998
原创 HBaseAPI使用，分布式搭建，多Master
一、hbase Java client添加maven依赖<dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-server</artifactId> <version>0.98.6-hadoop2</version></dependency><dependency> <groupId>org.apac
2016-12-21 22:07:13
1185
原创 HBase安装及简单使用
一、HBase伪分布式安装依赖 hdfs：启动hdfszookeeper：bin/zkServer.sh start下载解压 tar -zxvf hbase-0.98.6-hadoop2-bin.tar.gz -C /opt/modules/ conf/zoo.cfg 将conf/zoo.cfg 中的dataDir的目录修改为：dataDir=/opt/modules/zoo
2016-12-12 22:05:25
792
原创 Hue使用（Apache Hadoop UI系统）
一、Hue的安装部署Hue版本：cdh5.3.6-hue-3.7.0需要编译才能使用需要联网依赖(针对不同Linux版本) antasciidoccyrus-sasl-develcyrus-sasl-gssapigccgcc-c++krb5-devellibtidy (for unit tests only)libxml2-devellibxslt-develmvn (
2016-12-09 22:10:37
10533
2
原创 Oozie实例
一、运行官方实例 解压Oozie目录下的oozie-examples.tar.gz tar -zxvf oozie-examples.tar.gz解压完成后会创建一个examples文件夹将程序上传到HDFS的家目录 bin/hdfs dfs -put /opt/cdh-5.3.6/oozie-4.0.0-cdh5.3.6/examples examples运行官方mapreduce修改j
2016-12-09 16:57:57
5038
原创 Oozie 安装部署
-》主要是oozie server的部署 -》oozie-4.0.0 http://oozie.apache.org/ ext-2.2.zip是ExtJS2.2包用于Oozie的Web控制下载解压tar -zxvf oozie-4.0.0-cdh5.3.6.tar.gz -C /opt/cdh-5.3.6/配置hadoop的代理core-site.xml <!-
2016-12-09 10:44:35
1055
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人