- 博客(16)
- 资源 (5)
- 问答 (1)
- 收藏
- 关注
RSS订阅转载 hive问题
hive问题及解决 1.hiveserver2启动后，beeline不能连接的涉及的问题： 原因：权限问题 解决： /user/hive/warehouse /tmp /history (如果配置了jobserver 那么/history也需要调整) 这三个目录，hive在运行时要读取写入目录里的内容，所以把权限放开，设置权限： hadoop fs -chmod -R 777 /tm
2017-01-19 19:56:39
725
原创 spark mllib和ml类里面的区别
mllib是老的api，里面的模型都是基于RDD的，模型使用的时候api也是有变化的(model这里是naiveBayes)， （1：在模型训练的时候是naiveBayes.run(data: RDD[LabeledPoint])来训练的，run之后的返回值是一个NaiveBayesModel对象，就可以使用NaiveBayesModel.predict(testData: RDD[Vec
2017-01-16 23:33:26
4491
原创 sparkStreaming里面使用文本分析模型（2.0.1）
如果使用模型的建立话请参考另一篇博客建模地址 功能：接收来自kafka的数据，数据是一篇文章，来判断文章的类型，把判断的结果一并保存到hbase，并把文章建立索引（没有代码只有一个空壳，可以自己实现，以后有机会了可能会补上）， 代码实现：package spark.mllibimport org.apache.spark.ml.PipelineModelimport org.apache.s
2017-01-16 11:19:25
1694
原创 登录回调问题
问题：一个用户访问网站的时候需要登录，登陆后需要跳转到哪里的问题 是跳转到固定的页面还是跳转到其他的页面，其实用户更想调到登录以前的页面 解决方案：在登录过滤的时候保存用户需要跳转的网址，在登录页面加上这个参数，使得登录后能够继续跳转到这个地址，如果没有这个地址则跳转到网站首页
2017-01-12 23:51:13
1290
1
原创 单点登录
1：什么事单点登录： SSO英文全称Single Sign On，单点登录。SSO是在多个应用系统中，用户只需要登录一次就可以访问所有相互信任的应用系统。它包括可以将这次主要的登录映射到其他应用中用于同一个用户的登录的机制。它是目前比较流行的企业业务整合的解决方案之一。2：为什么需要单点登录： 应为有些公司有好多业务可以使用同一个账户登录，所以需要单点登录3：传统的登录流程 4：传统流程出现的
2017-01-12 22:29:41
1878
原创 solrJ客户端的使用
一：solr的通用知识：添加：添加一个json格式的文件就可以。修改：在solr中没有update，只需要添加一个新的文档，要求文档id和被修改文档的id一致。原理是先删除后添加。删除：使用xml格式。删除两种方法：1、根据id删除：<delete><id>test001</id></delete><commit/>2、根据查询删除：<delete><query>*:*</qu
2017-01-12 00:44:27
791
原创 solr服务器的搭建
安装环境centos6.7 单机版的搭建，并不是齐群版的搭建，集群版的会在以后发布： 第一步：安装jdk—–省略 第二部：安装tomcat1：创建：/usr/local/solr/tomcat文件夹2：把tomcat安装到tomcat下面第三步安装solr：1：把solr的压缩包上传到服务器。并解压。2：把/root/solr-4.10.3/dist/solr-4.10.3.war包部署
2017-01-11 10:31:02
559
原创 httpclient的使用（java）
httpclient主要用途，系统间的调用，一个系统使用http协议调用另一个系统的服务（web service），当然也可以做网页爬虫（爬虫推荐使用jsoup）0：添加maven依赖 <!-- httpclient依赖 --> <!-- https://mvnrepository.com/artifact/org.apache.httpcomponents/httpclient --
2017-01-10 11:42:37
1545
原创 json对象转换工具（java）
本工具类主要用于json字符串和java对象的相互转换 代码：import java.util.List;import com.fasterxml.jackson.core.JsonProcessingException;import com.fasterxml.jackson.databind.JavaType;import com.fasterxml.jackson.databind.Js
2017-01-09 15:30:38
2180
原创 随机生成不一样的字符串（java）
用途：可以做唯一标示，做一个图片的id唯一标示，或者—– 代码如下：import java.util.Random;public class IDUtils { /** * 图片名生成 */ public static String genImageName() { //取当前时间的长整形值包含毫秒 long millis = Sy
2017-01-09 15:26:41
2569
原创 ftp上传工具类（java）
package com.taotao.utils;import java.io.File;import java.io.FileInputStream;import java.io.FileNotFoundException;import java.io.FileOutputStream;import java.io.IOException;import java.io.InputStre
2017-01-09 15:21:44
464
原创 sparingmvc自定义拦截器做权限验证
首先要写一个拦截器，然后把自己写的拦截器加入到springmvc的拦截器中 1： 实现自己的拦截器 需要 写一个类，继承HandlerInterceptorAdapter类，重写里面的三个preHandle，postHandle，afterCompletion方法。 preHandle在业务处理器处理请求之前被调用， postHandle在业务处理器处理请求执行完成后,生成视图之前执行，
2017-01-09 12:12:35
651
原创 jsp生成验证码
使用的框架是springMVC+spring+Mybatis生成的验证码的jsp是一张图片：可以以图片的方式加载到所需要的页面上， 生成验证码的jsp文件代码（image.jsp）：<%@ page contentType="image/JPEG" import="java.awt.*,java.awt.image.*,java.util.*,javax.imageio.*"
2017-01-08 21:25:29
538
原创 spark中文文本分析建模（2.0.1）
实用的朴素贝叶斯模型建模的 建模过程主要是把文本转化成向量然后再作分析 数据格式：0，善良 美丽1，丑陋 阴险 卑鄙0，温和.......前面的是给文章贴的标签，后面是文章的分词，分词可以找关于分词的文章去查看，后面我也会写关于分词的文章package model import org.apache.spark.ml.Pipelineimport org.apache.spark.ml
2017-01-08 11:54:14
2237
原创 sparkstreaming里面的数据保存到数据里面
从kafka里面取数据到sparkStreaming里面，然后再把数据保存到数据中 关键点，不是每个数据都需要创建连接，只需要为每个分区创建一个连接就可以了 下面是一个简单的例子import java.sql.{ Connection, DriverManager }import com.oracle._import org.apache.spark.streaming._import or
2017-01-08 00:37:10
1769
原创 springmvc上传文件（图片）
环境：springmvc+spring+mybatis 前提环境，需要把ssm框架搭建好，如果没有搭建的话可以先搭建这个框架然后需要添加jar包 pom里面添加<!-- 上传组件 --> <!-- https://mvnrepository.com/artifact/commons-io/commons-io --> <dependency> <groupId>c
2017-01-06 16:07:47
5242
1
servlet读取jsp中的file内容
2016-08-13
TA创建的收藏夹 TA关注的收藏夹
TA关注的人