2019年09月_盛夏光年hs

12月 11月 10月 09月 08月

原创 MySql在Mac上的安装与配置

下载安装官网下载社区版dmg安装文件: https://dev.mysql.com/downloads/mysql/1、执行安装文件，按步骤完成安装2、安装完成后终端输入：mysql --version;显示版本号说明正常，若显示command not found，在终端输入如下命令。其中**/usr/local/mysql/bin/mysql**为mysql默认安装路径。$ cd /u...

2019-09-30 11:50:29 124

原创 Spark中的算子学习01

一、sample/** * 抽样算子,比如从1000ge 数据抽出去10% * 可以通过sample算子来完成 * 一个最经典的应用案例:就是当spark作业发生数据倾斜的时候,通过该算子完成样本数据的分析 * sample中的参数说明 * withReplacement:是否支持重复抽样(有放回的抽样), * fraction:抽样的比例 ,是以...

2019-09-18 18:45:43 383

转载 IDEA创建Scala项目、IDEA设置Scala自动生成返回值快捷键、IDEA配置生成Scala变量返回值类型

可以查看下面这个博客：https://blog.csdn.net/weixin_42641909/article/details/89670064

2019-09-18 10:23:27 1893

原创 maven pom中的依赖jar作用范围

比如说我在pom中添加了以下的依赖 <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.4</version> </dependency>通过ma...

2019-09-17 16:13:19 513

原创 IDEA 中的打包方式

Idea中的打包方式主要分为两种，第一个是没有外部依赖的时候1.没有外部依赖步骤一：步骤二：第三步：注意：上面的第四步双击以后改文件夹就会从现在的位置移动到我们起得那个名字的目录下边。第四步：然后再我们的工程的菜单里面选贼build会出现下面的选项，我们选择build最后在当前工程out（前面配置的目录）目录下就会生成一个jar包2、包含外部依赖在pom.xml...

2019-09-17 15:51:25 423

原创 maven项目中总是出现不支持lamda表达式的解决方式

情况：每次修改pom中的一些版本号，jdk编译的版本也会动，每次都要修改语言的等级。很烦人。其实maven已经为我们提供了解决方式，就是在build里面直接加入下面这段，就ok了   <!--<groupId>org.apache.maven.plu...

2019-09-16 18:26:47 823

转载单例设计模式

单例模式（Singleton Pattern）是 Java 中最简单的设计模式之一。这种类型的设计模式属于创建型模式，它提供了一种创建对象的最佳方式。这种模式涉及到一个单一的类，该类负责创建自己的对象，同时确保只有单个对象被创建。这个类提供了一种访问其唯一的对象的方式，可以直接访问，不需要实例化该类的对象。注意：1、单例类只能有一个实例。2、单例类必须自己创建自己的唯一实例。3、单例类必...

2019-09-11 17:30:03 113

原创基于Nio方式实现文件的复制

/* 通过nio的方式对文件进行读取复制 */ @Test public void copyFileByNoi() throws IOException { //获取输入流和输出流 FileInputStream in = new FileInputStream("a.txt"); FileOutputStream ...

2019-09-11 17:18:01 344

转载 neo4j配置文件

修改第9行，去掉#，修改数据库名dbms.active_database=wkq_graph.db修改第12行，去掉#。修改路径，改成绝对路径dbms.directories.data=C:/WorkSpaces/Neo4j/修改9行和12行后，neo4j数据存放在 C:/WorkSpaces/Neo4j/databases/wkq_graph.db，没错，多了一个databases修改...

2019-09-09 11:53:35 766

原创配置Neo4j服务器允许远程访问

配置Neo4j服务器允许远程访问找到neo4j-community-3.1.3\conf\neo4j.conf 文件，默认 bolt端口是7687，http端口是7474，https关口是7473，不修改下面3项也可以修改#dbms.connector.http.listen_address=:7474为指定的ip+端口.0.0.0.0任何都可以访问,也可以设置为指定的ipdbms...

2019-09-09 11:49:43 11224

原创 java 实现快速排序

原因原来总是听别人说快速排序,但是一直没有实现过,今天就来实现一下.原理先说说我自己理解的快速排序的原理:我们排序一般都是对一个数组中的数据进行排序,快速排序的原理就是把数据按照一个分界值给分成两部分,每一个部分可以看做是一个数据.位于分界值左边的数组中的每个值都比分界值小,位于分界值右边的数组中的每个值都比分界值大.然后在不断的改变这个分界值.最后就可以实现快速排序了.要想实现快速排序...

2019-09-06 18:53:57 133

原创 java实现计数排序

package com.aleiye.算法;/** * @Date: 2019-09-06 09:49 * <p> * 计数排序 * 将原始数据组的每一个值,存储在排序数据的下标中 */public class QuickSort { public static void main(String args[]) { int[] arr = {1,...

2019-09-06 15:20:35 121

原创 Hive建表以后不让数据移动的方法

需求和遇到的问题现在手里要做一些数据统计,本来使用的是Ignite,但是发现挺慢的,可能是我的本本配置太低了,执行一条语句得很久.所以还是使用hive来进行统计.但是在加载数据的时候总是会出现上传的数数据被移动.看了很多博客,也算知道了原因,记录一下采坑的过程解决方式:两种情况数据如果在本地,直接load的时候加上local关键字数据如果在hdfs 上在创建表的时候指定location "...

2019-09-05 18:40:00 704

转载 Hive中的日期函数使用总结

论做什么数据，都离不开日期函数的使用。这里转载一下Hive的日期函数的使用，写的相当完整。1.日期函数UNIX时间戳转日期函数: from_unixtime语法:from_unixtime(bigint unixtime[, string format])返回值: string说明: 转化UNIX时间戳（从1970-01-01 00:00:00 UTC到指定时间的秒数）到当前时区的时间格式...

2019-09-05 14:47:22 714

原创 Hive 异常,长期更新帖

问题:进入安全模式了 Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeException): Cannot create directory /tmp/hive/root/8de73222-3958-4810-a179-19b0ba64fddd. ...

2019-09-05 11:16:16 126

原创 Neo4j整合SpringBoot开发入门

neo4j整合Spring Boot的开发案例一.开发准备1.安装Neo4j的安装包,配置好环境(以后补充),启动neo4j此时数据库中没有任何节点2.创建一个Spring Boot 的项目二.具体实现向neo4j中添加节点;首先定义两个实体类有了这两个类以后,我们需要定义接口接下来就是对接口的具体实现了, 我们在controller中进行具体的实现:最后一个简单的创...

2019-09-05 10:59:03 564

原创模型评估策略

模型评估策略模型评估训练集和测试集训练集:输入到模型中对模型进行训练的数据集合测试集:模型训练完成后测试训练效果的数据集合损失函数利用损失函数来很亮模型预测误差的大小定义:选取模型f为决策函数,对于给定的输入参数x,f(x)为预测结果,Y为真实结果,f(x)和y之间可能会有偏差,我们就用一个损失函数(loss function) 来度量预测偏差的程度,记作L(Y,f(x))损失函数...

2019-09-05 10:48:10 227

原创使用Ignite进行关联查询

Ignite 的使用1.启动Ignite启动方式有两种,第一种通过配置文件进行启动 ,第二种不使用Ignite(推介使用)Ignite ignite = Ignition.start()2.创建缓存CacheCacheConfiguration<Integer, Person > cfg = new CacheConfiguration<Integer,Person...

2019-09-05 10:44:39 1936