qq_25529925的博客

原创 2020-11-21

原创 有道云图片地址

s

原创 Spark机器学习：稀疏和稠密向量

Spark机器学习：稀疏和稠密向量稀疏和稠密向量一个向量(1.0,0.0,3.0)它有2中表示的方法密集：[1.0,0.0,3.0] 其和一般的数组无异稀疏：(3,[0,2],[1.0,3.0]) 其表示的含义(元素的个数，元素的序号，元素序号对应的值) 序号从0开始 比如这里：元素个数为：3个、序号0：对应的值为1.0，需要2对应的值为3...

转载 Invalid bound statement (not found): com.taotao.mapper.TbItemMapper.selectByExample： 错误

Invalid bound statement (not found): com.taotao.mapper.TbItemMapper.selectByExample： 错误在Maven工程下，想通过controller接收url中的参数Id查询数据库的数据，并且以json形式显示在页面。在浏览器输入url后出现的问题：八月 22, 2016 1:45:22 下午 org.apache.catal...

转载 java转换emoji表情

/*** @Description 将字符串中的emoji表情转换成可以在utf-8字符集数据库中保存的格式（表情占4个字节，需要utf8mb4字符集）* @param str* 待转换字符串* @return 转换后字符串* @throws UnsupportedEncodingException* exception*/public static String emojiConvert1(St

转载 详解SVN 的使用

文章来源: http://www.cnblogs.com/zhoumiao/p/5459552.html一、什么是SVNSVN是Subversion的简称，是一个开放源代码的版本控制系统，相较于RCS、CVS，它采用了分支管理系统，它的设计目标就是取代CVS。二、SVN的下载安装下载地址：https://tortoisesvn.net/downloads.z

原创 通过IP准确高度的定位到小区，街道

功能:通过IP高度定位地址到小区，街道，暂时只支持固定宽带ip.....示例:http://47.95.15.125:8080/IP/GetIp?ip=218.76.63.90返回:{"id":21409012,"minip":3662430042,"maxip":3662430042,"continent":"亚洲","areacode":"CN","county":"中国"

转载 IDEA 开发环境中 调试Spark SQL及遇到问题解决办法

IDEA 开发环境中 调试Spark SQL及遇到问题解决办法1.问题 java.lang.OutOfMemoryError: PermGen space  java.lang.OutOfMemoryError: Java heap space7/04/17 17:00:05 WARN NettyRpcEndpointRef: Error sending m

转载 更改IntelliJ的快捷键为Eclipse风格，并且恢复Alt+/代码自动补全快捷键code completion

我就是eclipse转过来的，intellij idea里面可以设置成eclipse的快捷键风格，可能有些不同，按需要自己配置就行了。设置快捷键，打开设置（CTRL+ALT+S）搜索keymap，在Keymaps中选择Eclipse即可。 使用Eclipse的代码补全快捷键alt+/已经习惯了，但是IntelJIDEA中这个快捷键组合没有效果，那么我们来修改之，按ctrl+alt+s打开设置界

原创 远程连接linux 下的mysql

com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failureThe last packet sent successfully to the server was 0 milliseconds ago. The driver has not received any packet

原创 hive使用serde是出现classnotfind的问题

Error: java.lang.RuntimeException: Error in configuring object        at org.apache.hadoop.util.ReflectionUtils.setJobConf(ReflectionUtils.java:112)        at org.apache.hadoop.util.ReflectionUtil

原创 Linux 通过脚本同时想hadoop集群发送相同命令

转载请指明来源：from zx使用方法 xcall "ls"xcall "ls -l"当格式不好看时，可查看日志文件，在~/xcall.log文件中  +#!/bin/bash  +cmd=$1  +if [-z "$cmd" ];then  +

原创 java.io.IOException: java.lang.reflect.InvocationTargetException at org.apache.hadoop.hbase.client.

java.io.IOException: java.lang.reflect.InvocationTargetExceptionat org.apache.hadoop.hbase.client.ConnectionFactory.createConnection(ConnectionFactory.java:240)at org.apache.hadoop.hbase.client.Co

原创 在beeline中插入数据是提示权限不足

Error: Failed to open new session: java.lang.RuntimeException: org.apache.hadoop.security.AccessControlException: Permission denied: user=anonymous, access=EXECUTE, inode="/tmp/hive":root:supergroup

转载 HIVE2 ：beeline连接设置用户名和密码注意问题

beeline connect有几种方式，见Hive-site.xml,缺省为NONE。     hive.server2.authentication    NONE          Expects one of [nosasl, none, ldap, kerberos, pam, custom].      Client authentication typ

转载 获取HiveConnection，及重现获取过程中的某些问题。

文章来源：https://my.oschina.net/gently/blog/683604一：未创建Maven工程，所需jar包都是自己一一找的，结果碰到许多缺包问题，最后我的lib下包为： 二：尝试获取HiveConnection，先附上成功获取HiveConnection的代码：public class Test01Hive { private static Stri

原创 java.lang.Exception: java.lang.ClassCastException: org.apache.hadoop.mapreduce.lib.input.TaggedInput

java.lang.Exception: java.lang.ClassCastException: org.apache.hadoop.mapreduce.lib.input.TaggedInputSplit cannot be cast to org.apache.hadoop.mapreduce.lib.input.FileSplitat org.apache.hadoop.mapred

原创 java.lang.RuntimeException: java.io.EOFException at org.apache.hadoop.io.WritableComparator.compare

java.lang.RuntimeException: java.io.EOFExceptionat org.apache.hadoop.io.WritableComparator.compare(WritableComparator.java:165)at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.compare(MapTask.j

原创 KeyValueInputFormat自定义分割符

Configuration conf = new Configuration();                //设置行的分隔符，这里是制表符，第一个制表符前面的是Key，第一个制表符后面的内容都是value          //设置属性mapreduce.input.keyvaluelinerecordreader.key.value.separator = 分割符    

原创 java.lang.ClassCastException: class com.sun.jersey.core.impl.provider.entity.XMLJAXBElementProvider$

java.lang.ClassCastException: class com.sun.jersey.core.impl.provider.entity.XMLJAXBElementProvider$Text    at java.lang.Class.asSubclass(Class.java:3404)    at org.apache.hadoop.mapred.JobConf.ge