- 博客(25)
- 收藏
- 关注
RSS订阅原创 JavaApi手动创建rockeMQ的topic
1、命令行操作rockerMQ://查询topic列表sh mqadmin topicList –n 10.77.0.11:9876//创建topic用nameserver和cluster列表sh mqadmin updateTopic -n 10.77.0.11:9876 -c DefaultCluster -t testTopic012、JavaApi创建topic：import com.alibaba.fastjson.JSON;import lombok.extern.slf4j.S
2020-06-08 18:16:25
1359
原创 influxdb数据库操作与javaApi使用
1、influxdb使用的是类sql语句，使用时需要了解一下，我主要使用创建库和处理保存策略部分：展示库下保存策略show retention policies on testinfluxdb64更新ALTER RETENTION POLICY "default" ON "testinfluxdb64" DURATION 4h删除drop retention POLICY "default" ON "testinfluxdb64"新建default保存策略，并设置为默认保存策略CREATE
2020-06-08 17:52:31
2074
原创 es使用过程中磁盘空间问题梳理
1、首先登录到需要连接es的机器或者pod里查看es健康状态：curl http://elasticsearch.1ff1de774005f8da13f42943881c655f:9200/_cat/health?v&pretty如果状态时yellow或者red就证明当前集群有问题了，但是未必是当前我们使用的索引有问题，所以接下来查询索引2、查看索引列表：curl http://elasticsearch.1ff1de774005f8da13f42943881c655f:9200/_cat
2020-05-22 15:51:46
2271
原创 更换idea版本导致的scala类无法编译
在idea中编译scala的时候，报错找不到主类原因：由于idea到期，破解不利，被迫暂时使用 新版的idea，在新版idea中打开该项目时不能编译类解决过程：1、首先感觉可能是编码问题，修改了系统编码，并指定了当前项目编码，未解决问题2、因为jdk为1.8并且系统中只有这一个版本，以前也未出现此问题，所以选择更换系统的scala版本，试了所有四个版本的scala都不能解决问题3、最后...
2020-05-07 14:57:13
565
原创 安装pymongo报错
1、直接在命令行使用pip install pymongo报错”Could not install packages due to an EnvironmentError: [Errno 13] 权限不够: '/usr/local/lib/python2.7/dist-packages/pymongo-3.8.0.dist-info'Consider using the `--user` op...
2019-04-30 10:37:53
676
原创 spark的DataFrame数据保存到hdfs产生过多小文件该怎么解决
写入过程产生过多小文件是因为多线程并行向hdfs写入造成的，所以可以再save之前设置dataframe的partitions设置为0，但是这样设置一定会影响spark写入的性能val result: DataFrame = WorkOperator ( dataFrame, sparkSession ).controller ( operator ) //df保存到hdfs ...
2019-04-24 10:37:35
4666
3
原创 spark onyarn从接口到提交集群运行（中间遇到一些比较恶心的问题）
接口@RequestMapping(URLPrefix.COMPARE.WORKMODEL_RUN_ALL) @ResponseBody public Result runAll(Integer id, Integer clusterType, Integer infom) {// Integer infom = 0; Configuration ...
2019-04-22 11:57:48
184
原创 局域网内计算机之间传递文件方法
今天去给客户安装公司的产品，准备好了优盘，系统盘等一切需要用的东西，自以为足够了，但是到了地方才发现现场没有外网，只给了一条网线，又不允许拷贝，鼓捣了四个小时后终于搞定，也算是学到了些东西首先要在一个局域网内的计算机之间传递文件，要保证互相之间可以ping通。第一中方法：apache服务1、安装，sudo apt-get install apache22、去/var/www/html下建一...
2019-04-11 16:05:34
1605
原创 spark任务提交到yarn上运行报错
1、报错信息java.sql.SQLException: No suitable driver at java.sql.DriverManager.getDriver(DriverManager.java:315) at org.apache.spark.sql.execution.datasources.jdbc.JDBCOptions$$anonfun$7.apply(JDBCOptio...
2019-04-11 15:29:46
433
原创 堆排序实现
图谱推荐过程中需要对大量list集合中的数据进行排序，故此使用堆排序堆排序的原理相对比较简单，就是构造大根堆或者小根堆后将堆的跟交换到数组的最前面或者最后面，然后对剩下的数组元素继续进行此过程，知道所有的元素排序完毕。堆排序：public class Heapsort { public <T> void sort(List<T> list,int k) { Ob...
2019-03-28 14:22:23
71
原创 基于随机游走的personalRank算法
基于随机游走的personalRank算法是从谷歌的pageRank算法演变来的，使用的比较少，可以说是比较小众。至于pageRank算法在此贴出我认为写得好的博客pageRank算法参考1、personalRank算法介绍：数据集随机分成训练集和测试集，指定训练集中任意点开始进行随机游走，游走的时候根据不同点之间的权重来选择游走方向的概率，到达下一个点以后会根据指定的alpha值随机决定继...
2019-03-28 14:16:25
1505
原创 临近算法
还是图谱推荐项目，最初的设计是通过临近算法处理推荐，但是实现过后又被放弃了，原因是领导的决策变了。。。先介绍一下临近算法：kNN算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。（百度百科）我自己的理解大致分下面几个步骤：1、 从测试集中取数据，分别和已经存在的点计算欧氏距离2、对欧氏距离从小到大进行排...
2019-03-28 13:34:26
721
原创 我理解的贪心算法
最近公司要弄一个图谱推荐的项目，在项目最后对剩余的销售人员使用贪心算法进行最后一步过滤，获取最佳销售人员组合，话不多说，先把代码贴出来public class GreedyAlgorithm { /** * * @param personSimilary 可选择的销售人员 * @param cost 成本 * @r...
2019-03-28 10:54:38
163
原创 spark整合kafka中遇到的奇葩问题
现在的公司好久没接触到大数据项目了，怕自己忘记了，所以在下班时间自己找了个小项目试一试，中间只遇到了一个问题，就是软件兼容性问题1、所有的scala类都已经存在经过多方了解可能是scala的版本过高了，所以从2.11.12换成了2.10.0，此问题得到了解决2、编译报错Error:scalac: Error: org.jetbrains.jps.incremental.scala.rem...
2019-03-27 20:12:17
628
原创 spring-boot-data-jpa操作mysql数据库的增删改查
直接上代码表映射实体:@Entity@Table(name = "manager_labeling_tasks")public class LabelingTasks { /** * 在数据库生成一张表来管理主键生成策略 */ @Id @GeneratedValue(strategy = GenerationType.TABLE,generato...
2019-02-13 14:11:40
890
原创 使用jpa操作mysql数据库的注意事项
今天闲来无事在公司练手试了一试jpa操作数据库,下面粘贴上代码application.yaml:server: port: 8090spring: datasource: url: jdbc:mysql://localhost:3306/myTest?useUnicode=true&characterEncoding=UTF-8 username: root...
2019-02-11 11:33:49
525
原创 使用TikaUtil.tikaRead读取本地文件数据
在获取到本地文件所在位置的时候进行文件读取String page = TikaUtil.tikaRead(new File(jsonGenerateMap.get(FILE_PATH)+File.separator+params.get(“filePathName”).toString()), new BodyContentHandler());...
2019-01-15 12:01:24
215
转载 解决启动idea项目没有artifict的问题
https://blog.csdn.net/small_mouse0/article/details/77506060
2019-01-15 10:12:39
925
原创 使用scan读取hbase的前三条数据，并且将空值赋值为null
弄了三个小时，终于弄好了，纪念一下吧，也算没白熬夜public List<String> getHBasePreview(Integer id, String tableName) { List<String> list = new ArrayList<>(); List<List<String>> li...
2019-01-08 00:04:08
2293
原创 使用spark读取hbase中的数据，使用newAPIHadoopRDD遇到的问题
代码如下：| import com.dataexa.data.neo4j.hbase.HbaseConf;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.client.Result;imp...
2019-01-05 17:40:35
2993
1
原创 Map集合的遍历方式
package cn.jdbc.test;import java.util.HashMap;import java.util.Iterator;import java.util.Map;import java.util.Map.Entry;public class TestMap { public static void main(String[] args) { ...
2019-01-05 17:37:52
75
原创 Jedis连接Linux上的redis时候报错（Redis is running in protected mode because protected mode is enabled）解决方案
主要要修改redis的配置文件redis.conf1、将配置文件中的ip注释掉—bind 127.0.0.12、将保护模式设置成no-------protected-mode no3、给redis加上密码，有的时候没有密码是不能外部登陆的（我猜的）–requirepass “123456”4、以上这些配置修改完，也未必也就可以，kill掉redis进程，使用./redis.server...
2018-11-01 19:10:59
198
原创 创建Maven项目没有src目录的解决办法
有两种方法：第一种：打开File目录->Setting->Bulid,Exception,Deployment->Build Tools->Maven->Runner;设置VM Options第二种：在创建Maven工程时加上 archetypeCatalog=internal 参数...
2018-10-30 20:26:18
1399
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人