2018年03月_晴空马仔

转载 Google Analytics中的基本度量四 “页面停留时间和网站停留时间

Google Analytics中的基本度量四 “页面停留时间和网站停留时间”“页面停留时间和网站停留时间”是Google Analytics中的一对时间度量。用来分别记录用户在网站或网页上的停留时间。这样我们就可以根据用户停留的时间长短来衡量网站或页面的表现。但这两个度量真的准确吗？度量的定义：页面停留时间：显示访问者在某个特定网页或某组网页上所花费的时间。网站停留时间：访问...

2018-03-30 15:27:45 2022

转载网站数据分析

网站数据分析　　数据的标准化（normalization）是将数据按比例缩放，使之落入一个小的特定区间。在某些比较和评价的指标处理中经常会用到，去除数据的单位限制，将其转化为无量纲的纯数值，便于不同单位或量级的指标能够进行比较和加权。　　其中最典型的就是数据的归一化处理，即将数据统一映射到[0,1]区间上，常见的数...

2018-03-30 12:05:29 184

原创 HttpCookie 设置uuid标识用户

推荐JavaSchool网址 http://www.51gjie.com/javaweb/863.html 看了非常有用

2018-03-29 19:59:27 2297

原创 No serializer found for class org.hibernate.proxy.pojo.javassist.JavassistLazyInitializer and no pro

com.fasterxml.jackson.databind.exc.InvalidDefinitionException: No serializer found for class org.hibernate.proxy.pojo.javassist.JavassistLazyInitializer and no properties discovered to create BeanS...

2018-03-29 19:12:17 2293

原创一次git add 所有修改

git add . 可以添加到暂存区所有的改变的文档

2018-03-29 16:22:23 19239 4

原创 php: httpheader

php的post/get 请求的参数格式在httpheader里:Content-Type:application/json;charset=utf-8 响应格式:Accept:application/json

2018-03-29 16:21:10 280

原创 Establishing SSL connection without server's identity verification is not recommended. According to

Establishing SSL connection without server’s identity verification is not recommended. According to MySQL 5.5.45+, 5.6.26+ and 5.7.6+ requirements SSL connection must be established by default if e...

2018-03-29 16:18:10 774

原创 Rejecting mapping update to [house] as the final mapping would have more than 1 type: [housetype, do

本人今天创建索引及索引mapping 当logstash将mysql同步到es索引文档的时候,出现如上错误[2018-03-22T14:17:42,271][WARN ][logstash.outputs.elasticsearch] Could not index event to Elasticsearch. {:status=>400, :action=>["index...

2018-03-22 20:06:21 15750 3

原创 linux 环境下navicat中文乱码????,命令行中正常

本人下载了Ubuntu环境下的navicat,根据自己的需求下载对应的version 官网链接:https://www.navicat.com/en/products1.下载完成后解压到自己的目录下,我的目录为soft下,打开后发现如下,出现中文乱码???,但是自己mysql命令行查出来的数据是ok的,所以原因应该和mysql无关,只应该是navicat编码的问题 2.修改navica...

2018-03-22 11:58:44 2486

原创 org.springframework.dao.InvalidDataAccessResourceUsageException: could not extract ResultSet; SQL [n

org.springframework.dao.InvalidDataAccessResourceUsageException: could not extract ResultSet; SQL [n由于本人的数据库表的id自增,在entity中加入注解 @Id @GeneratedValue(strategy = GenerationType.AUTO) 数据库也是设置...

2018-03-21 19:52:57 6715

原创 spring.jpa.hibernate.naming.physical-strategy

springboot hibernate报错 spring.jpa.hibernate.naming.physical-strategy 原因是我的主键错误spring.jpa.hibernate.naming.physical-strategy=org.hibernate.boot.model.naming.PhysicalNamingStrategyStandardImpl ...

2018-03-21 19:46:55 11576

原创 java 爬取数据(三)

因为本人在某司上班用到一些数据,所以就爬取公司web网的数据,具体代码就不给大家展示了,涉及一些公司隐私,嘻嘻不过jsoup就是jquery类似的框架,稍微有点前端基础就可以完成的,希望大家也多做小demo,爬取相应的网站练练手,不说了,我要去清洗数据去了....

2018-03-21 17:31:43 2599

原创 java Jsoup 爬取数据二()

携程城市数据的爬取 public void testJsoup(){ Connection connection = Jsoup.connect("http://hotels.ctrip.com/domestic-city-hotel.html"); connection.header("User-Agent", "Mozilla/5.0 (Windows NT...

2018-03-21 17:19:48 500

原创 jsoup 爬取数据(一)

本人因需要大量数据,今天第一天接触爬虫,使用江湖传说java下的jquery之称的jsoup,确实很方便易上手,也是目前比较流行的技术,对初学者来说非常easy,下面我也会继续写n篇记录自己的学习成长曲线,后续会出分页爬取与图片爬取,以及添加数据库的blog.可以看到文章列表都在class=”list”下,list_title下的结构如下,爬取link_title下href元素与html内...

2018-03-19 20:05:57 1969

转载 Jsoup 爬取页面的数据和理解HTTP消息头

推荐一本书：黑客攻防技术宝典.Web实战篇  ；      顺便留下一个疑问：是否能通过jsoup大量并发访问web或者小型域名服务器，使其瘫痪？其实用jsoup熟悉的朋友可以用它解析url来干一件很无耻的事（源码保密）。呵呵，接下来简单的介绍下JSOUP。&nbsp...

2018-03-19 12:08:43 599

原创 Elasticsearch之插件es ik配置自定义中文分词词典

1. 首先需要安装好ik可以参考本人blog http://blog.csdn.net/qq_30581017/article/details/79533240 或者github地址下载对应版本的ik: https://github.com/medcl/elasticsearch-analysis-ik2. 配置自定义中文分词词典如果宝宝们已经安装好ik,在es中测试分词成功...

2018-03-16 16:30:37 13367 3

原创 es ik 自定义中文词典不起作用

今天本人配置了ik的自定义词典功能,过程很简单,过后会出一篇blog, 但是在启动es后,也可以看到如下loaded加载信息上述表示已经启动了该dictionary,但是本人测试的时候,就是不能拓展新词”逼格”,和敏感词”傻子”,, 为什么那???? ①首先检查一下自己dic文档配置路径是否正确; ②loaded加载成功后仍然不起作用的,也有可能是自己ik与es版本不匹配,加上ik...

2018-03-16 16:02:24 5061

原创 Logstash could not be started because there is already another instance using the configured data di

Logstash could not be started because there is already another instance using the configured data directory. If you wish to run multiple instances, you must change the "path.data" setting.需要指定你的pa...

2018-03-15 18:52:02 4545

原创 linux环境下mysql数据库的数据通过logstash导入elasticsearch 6.x

这几天在研究elasticsearch6.x(es6.x),已经配置了kibana,ik智能分词,以及sugget搜索智能提示,如果大家需要可以评论我改天出个教程哦,搜索基本完成后想着如果有很多数据如何通过脚本添加到es里去,本来想着自己代码将数据库的数据查出来后多线程导入数据,,后来了解到有相关插件,大部分人说elasticsearch-jdbc这个还不错,但是在github上看到其2年前停止更...

2018-03-15 18:42:15 3095 7

原创 elasticsearch 6.2.2 没有prepareSuggest这个函数,很多blog上都是不可行的

今天一下午都在看有没有prepareSuggest这个函数’ 最后没有!!!! 我自己整理了一个小demo,基本建议suggest功能都可以实现有空给大家出一个blog

2018-03-14 17:35:13 532 1

原创 There was an unexpected error (type=Method Not Allowed, status=405). Request method 'GET' not suppor

看控制台报错信息 chrome Ctrl+shift+J,打开控制台,看network的response,会看到报错message 我的是因为发送的json和controller里的param不对应,大家也注意一下

2018-03-13 19:35:52 9671 1

原创 SpringBoot ajax+jquery

今天有用到ajax post提交到控制器的功能,在网上找了一些方式其中一种pom配置webjars的,简直是坑,劝大家用最原始的方式,把query.min.js放在resource下static下js下然后html中引入js即可就是那么简单,别的方式如果有实现的当然很好,我的就是死活读不出webjars中的文件,如果你们有更好的方法可以评论让我学习一下....

2018-03-13 19:31:16 2680

原创 Caused by: org.elasticsearch.bootstrap.BootstrapException: java.nio.file.NoSuchFileException: /home/

Caused by: org.elasticsearch.bootstrap.BootstrapException: java.nio.file.NoSuchFileException: /home/sunny/soft/elasticsearch-6.2.2/plugins/analysis-ik/plugin-descriptor.properties在安装ik插件的时候报错,找不...

2018-03-12 21:37:22 16930 4

原创 Caused by: java.net.BindException: 地址已在使用

org.elasticsearch.bootstrap.StartupException: BindHttpException[Failed to bind to [9200]]; nested: BindException[地址已在使用];由于你的端口被占用可以查看自己端口的使用情况 netstat -alnp | grep 9200然后清掉对应的进程即可 ki...

2018-03-12 21:32:38 18933

原创 java.lang.IllegalArgumentException: Rejecting mapping update to [index] as the final mapping would h

[2018-03-12T20:04:04,848][WARN ][o.e.b.ElasticsearchUncaughtExceptionHandler] [] uncaught exception in thread [main] org.elasticsearch.bootstrap.StartupException: java.lang.IllegalStateException...

2018-03-12 21:29:49 8239

原创 elasticsearch6.2.2安装中文分词插件IK analyzer

哎，装了一下午的ik终于装上了，发现自己真的是非常笨了，并且es重启过程中遇到了很多的问题，下面我将手把手教大家如何安装ik，尽可能细致些，如果大家哪里不懂的可以留言或者发email到本人邮箱sunny@codekong.cn，这里我下载的es 版本为6.2.2，最新版本，你们也可以下载其他5.X版本，后面有一处不同，注意一下。1. 首先我们需要到git上下载对应的安装包输入如下网址可...

2018-03-12 21:25:13 16784 3

原创 java.lang.IllegalArgumentException: Fielddata is disabled on text fields by default. Set fielddata=t

java.lang.IllegalArgumentException: Fielddata is disabled on text fields by default. Set fielddata=true on [interests] in order to load fielddata in memory by uninverting the inverted index. Note that...

2018-03-12 11:52:58 7842

原创 springboot+jpa+mysql实现增加数据报错，无法创建controller，无法注入jpa接口

org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'houseRepository': Invocation of init method failed; nested exception is java.lang.IllegalArgumentException: Not...

2018-03-09 10:18:05 811

原创 springboot+jpa+hibernate+idea做个实现数据库mysql增数据乱码，中文乱码为？？？

1.首先确认一下是否是hibernate配置是否加上了编码设置spring.datasource.url=jdbc:mysql://localhost:3306/houseBase?useUnicode=true&amp&characterEncoding=utf-8houseBase是我数据库database名，此处替换成自己url2.查看mysql数据库的字符集...

2018-03-09 10:08:54 949

原创 Ubuntu 系统装了navicat数据库mysql图形化工具输入中文报错 1366

当我的数据库表插入一条记录时中文报错 Warning Code : 1366 Incorrect string value: ‘\xE5\x9C\xA8’ for column ‘content’ at row 1 原因是在创建数据库时指定的collation字符集ALTER TABLE house CONVERT TO CHARACTER SET utf8 COLLATE u...

2018-03-07 16:04:44 511

原创 'tools.jar' is not in IDEA classpath. Please ensure JAVA_HOME points to JDK rather than JRE.

‘tools.jar’ is not in IDEA classpath. Please ensure JAVA_HOME points to JDK rather than JRE.前几天idea用着还好好的，今天打开的时候报了个错误首先确定自己有装jdk java -version 如果没有安装请自行安装，如果如上图所示已经有jdk了，输入以下命令...

2018-03-07 10:13:54 910 1

原创下载安装elasticsearch 与图形可视化工具kibana

1.官网下载elasticsearchhttps://www.elastic.co/downloads/elasticsearch 解压到个人目录后进入到bin目录中 ./elasticsearch 安装成功2. 下载安装kibanahttps://www.elastic.co/downloads/kibana 解压到个人目录，并进入到bin目录下 ./ki...

2018-03-05 19:54:23 4871 1

原创 ubuntu 下载安装elasticsearch

1.安装jdk如果已经安装可以跳过此步骤，如果没有可以参考我的blog jdk安装2.下载elasticsearch并安装①一般情况下elasticsearch的安装用户不为root，所以新建用户，在非root用户下安装 elasticsearch下载链接②下载完后，解压该压缩包 tar -xzvf elasticsearch-2.4.4.tar.gz ...

2018-03-05 14:44:20 1541

晴空马仔的博客