- 博客(30)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 spark
spark数据分析导论spark是什么？spark是一个用来实现快速而通用的集群计算平台。主要的特点就是在内存中进行计算。spark的软件栈spark Core:实现了spark的基本功能，包括任务调度、内存管理、错误恢复与存储系统交互等模块以及对RDD(弹性分布式数据集)的定义及相关的API操作。spark Sql:是spark用来操作结构化数据的程序包，支持Apache Hive ...
2019-11-29 09:30:18
264
1
原创 逻辑回归
浅谈逻辑回归模型什么是逻辑回归模型？逻辑回归模型的开发流程与线性回归相似，下面还是以实例为主引入相关包import numpy as npfrom scipy import statsimport pandas as pdimport statsmodels.api as smimport statsmodels.formula.api as smfimport matplot...
2019-11-19 11:01:01
471
原创 线性回归
浅谈线性回归最近这几天听了网上讲师Ben老师的课，对线性回归模型有了新的理解，在此记录，以便后续学习。什么是线性回归模型？线性回归模型：回归平均数的模型（y变量为连续变量）简单线性回归模型：Y = β0 + β1X （只有一个自变量）多元线性回归模型：ln(Y) = β0 + β1X1 + β2ln(X2) + β3X32如何做线性回归模型？下面举一个栗子根据给定的数据进...
2019-11-18 11:37:44
1184
原创 spark
Spark.sql 列转行方法之stack函数用法一个小需求：在hive表中取每个客户近6个月月底的三个字段：cust_id(客户id)、par_dt(分区时间)、money(金额)，若客户只有近3个月的记录，则需要另外补充数据，金额为0。因为spark中df只能增加列，而不能增加行记录，故补充默认值需要进行列转行，使用stack内置函数。好，废话不多说，进行代码Demo演示。Object...
2019-07-24 10:25:35
1048
原创 spark有向无环图与血缘
Spark 有向无环图与血缘当我们提交jar包运行时，spark会在节点中随机选择一个节点作为Driver端，Driver端会运行一遍程序形成DAG(有向无环图)然后，数据会根据有向无环图运行，图中的每个节点生成的df是一次性的，也就是说C的数据被D1所用后，C的数据就没有了，当D2用C的数据时，C数据会从A -> B -> C 重新计算优化：我们将C的数据进行持久化，此时DA...
2019-07-23 16:30:10
568
1
原创 hive数据导入
快速导入hive数据的方法需求：将生产上的某个hive库中的数据导入测试环境中。思路：因为hive中的数据也是存在于linux服务器的磁盘中，只需要将相应的hive库中的数据文件传到测试环境相应的hive库中即可。拓展：hive的数据是存放在hdfs上的，eg：mydb库中test表是以stat_dt作为分区字段的，则stat_dt=‘2019-06-21’中的数据文件在hdfs的存储格式为...
2019-06-21 10:35:56
203
原创 使用gitblit安装本地git仓库
!目的：在linux服务器上搭建git仓库，方便团队在windows机器上进行代码开发。工具：jdk1.7以上、gitblit安装包（linux）、git(window)步骤：1、首先在linux机器上安装jdk（已安装则不必重新安装）。登陆网站：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2...
2019-01-23 18:09:34
1004
原创 effective-java：创建和销毁对象
effective-java：创建和销毁对象第一条：考虑使用静态工厂方法代替构造器静态工厂方法有名字，可以通过方法名字准确的了解想要创建的对象的详情，例如：输入的参数等。在静态方法里可以写逻辑，所以可能不必每次调用都会创建一个新的对象。不必返回此对象的实例，也可以根据自己的需要返回此对象的子类的实例。在创建参数化类型实例的时候，他们使代码变得根据简洁。第二条：遇到多个...
2018-08-02 09:56:50
156
转载 log4j日志打印详解
1.为什么要使用log4j?Log4j是Apache的一个开放源代码项目，通过使用Log4j，我们可以控制日志信息输送的目的地是控制台、文件、GUI组件、甚至是套接口服务器、NT的事件记录器、UNIX Syslog守护进程等；我们也可以控制每一条日志的输出格式；通过定义每一条日志信息的级别，我们能够更加细致地控制日志的生成过程。最令人感兴趣的就是，这些可以通过一个配置文件来灵活地进行配置，而不...
2018-07-25 17:15:28
1073
原创 java 核心技术Ⅱ--章八：注解
注解注解是那些插入到源代码中使用其他工具可以对其进行处理的标签，其不会改变程序的编译方式，只是对源程序的解读，也就是说源代码正常执行，我们会在特殊的地方对注解进行解读。两部分是分开进行的。1、定义注解//定义TestMyAnnotation 注解public @interface TestMyAnnotation {}1.1、元注解元注解其实就是注解的注解，用...
2018-06-07 16:34:20
410
转载 java 核心技术Ⅱ--章六：时间与日期API
时间与日期APIpublic class TimeTest { public static void main(String[] args) throws InterruptedException { testClock(); // testInstant(); // testLocalDate();// testL...
2018-06-04 16:50:14
298
原创 java 核心技术Ⅱ--章五：JDBC数据库编程
java数据库编程JDBC简单的jdbc编程示例：public class DBTest { public static void runTest(){ Connection conn = null; Statement stat = null; try{ conn = getConn(); ...
2018-06-01 11:39:41
398
原创 java 核心技术Ⅱ--章四：网络
使用java程序连接网络建立与主机的连接。Socket s = new Socket("localhost",8080);用这个方式建立与主机的连接，会一直堵塞下去，直到建立了到达主机的初始连接为止。改进方式：Socket s = new Socket();s.connect(new InetSocketAddress(host,port),timeout);1、...
2018-06-01 11:38:35
142
原创 java 核心技术Ⅱ--章三：XML
1、XML格式介绍XML是一种能够表示层级结构的数据表现格式，下面是使用XML的使用要点：XML是大小写敏感的。XML的结束标签可以写成：/> 但是绝对不能省略。XML中，属性值不管是什么类型的，都必须用引号括起来。XML中，属性值必须有值。一条常用的经验法则：属性只应该用来修改值得解释，而不是用来指定值。2、解析XML文档要处理XML文档，就要先解析它。解析...
2018-05-29 14:20:09
311
原创 java 核心技术Ⅱ--章二：输入与输出
输入与输出把输入/输出流家族中的成员按照他们的使用方法进行划分，可以分为处理字节和字符的两个单独的层次结构。处理字节：InputStream和OutputStream的体系结构。处理字符：Reader 和Writer的体系结构。 图示：完整的输入流与输出...
2018-05-24 17:16:09
227
原创 java 核心技术Ⅱ--章一：jdk8的流库使用
jdk8 流的介绍流在表面看起来与集合很类似，都可以让我们转换和获取数据，但是还是有一些显著的差异。流并不存储元素。这些元素可能存储在底层的集合中或者是按需生成的。流的操作不会修改其数据源。例如：fillter方法不会从新的流中移除元素，而是会生成一个新的流，其中不包含被过滤的元素。流的操作是尽可能惰性执行的。这意味着直至需要其结果时，操作才会执行。下面为流的创建的几种方式：...
2018-05-22 09:53:40
382
原创 lambda表达式的简单介绍
Lambda 表达式lambda 是jdk8 新增加的功能，若要使用lambda一定要使用jdk8的开发环境，lambda表达式是一个可传递的代码块，可以在以后执行一次或多次。我们以前应该都用过匿名类，就像下例：package lambda;public class LambdaTest { public static void main(String[] args)...
2018-05-11 16:23:29
158
原创 java反射的简单介绍
反射 反射库（reflection library）提供了一个非常丰富且精心设计的工具集，以便编写能够动态操纵java代码的程序。大量的框架中都用到了反射技术，我所接触过的反射技术一般都与接口结合使用，具体怎么实现，下面详细讲解。有关于本文提到的类库的方法信息，请详见java api 文档;1 java.lang.Class 类java运行时系统始终为所有对象维护一个被称...
2018-05-11 11:58:19
199
原创 javadoc注释的生成规则
javadoc文档注释 如果在源代码中添加以专用的定界符/**开始的注释，那么就可以很容易的生成一个HTML格式的文档，就像我们日常看的JAVA API 文档，在界定符中间的自由文本中可以使用一些HTML的标签，用来修饰文字，如：<em></em>等，下面就来介绍一下各个注释的规则。1 类注释类注释必须放在import语句之后，类定义之前。/*...
2018-05-07 16:23:04
502
原创 ora-01756
最近在做回归测试，将已经写好的脚本导入到初始化的数据库中，出现如下结果。SQL> insert into DCT (ID, DCTID, SEQNO, VALUE, TEXT, PARAM) values (‘OrgType_City’, ‘OrgType’, 2, ‘3’, ‘中文字符’, null); ERROR: ORA-01756: quoted string not pr...
2018-05-04 16:06:31
14213
原创 impdp命令出现ora-39070解决方案
今天，在使用impdp命令向数据库导入dump文件的时候，出现ora-39070 无法打开日志文件的错误，错误如下图：解决方案：找到oracle安装目录的dpdump目录，例如我的为：C:\oraclexe\app\oracle\admin\XE\dpdump.将需要导入的dump文件放入该目录下。使用如下命令，即可成功导入。注意：红色方框内的路径，当文件复制到dpdu...
2018-04-11 09:02:03
7718
原创 阿里巴巴 java 开发规约
《阿里巴巴 java开发手册》–随手记 这本开发手册是阿里巴巴开发人员的java开发规范，读了这本书后，感受到代码规范的重要性，培养自己的代码风格，养成与此手册代码风格一致的习惯。一、编程规约1 命名风格1) 代码中的变量命名均不能以下划线或美元符号开始，也不能以下划线或美元符号结束。2) 代码中不允许使用中文拼音。3) 类名尽量使用Upper...
2018-04-04 10:44:48
1861
原创 深入理解java虚拟机 -- jVM高级特性与最佳实践
《深入理解 Java 虚拟机–JVM高级特性与最佳实践》 关于这本书已经断断续续的看了好几遍了，使自己对jvm有了很深的理解，但是由于长时间的不用，对很多的功能点有所遗忘，特此写下这篇随手记，为以后的回忆与学习提供帮助，本文大部分图片来源于网络。 1、关于java内存区域与内存溢出异常 下图为java运行时jvm将它所...
2018-04-04 10:17:45
1655
原创 使用Beyond Compare对比文件夹
使用Beyond Compare 对比文件夹的时候，经常出现两个文件显示红色(有差异)，但是在点击进去之后发现没有什么差异，什么都没有改动后，文件变为黑色（无差异），遇到这种情况，只需要更改一下对比规则即可。工具栏 - > 规则 - > 比较 Tab 按照下图设置规则。...
2018-04-04 09:53:27
1230
原创 dmp数据文件导入问题
事件：今天需要将oracle数据库备份的dmp数据文件导入到数据库中。情况说明： 我们都是使用PL/SQL developer客户端远程连接oracle服务。问题：使用developer客户端 工具 —》导入表 —》Oracle 导入dmp文件，报错：imp-00038：无法转换为环境字符集句柄。 解决方案：数据库导入导出有两组指令：exp ，imp 与expdp、impdp。这两组...
2018-03-14 16:54:59
549
原创 使用Beyond Compare合并代码后出现乱码问题
今天在使用Beyond Compare工具进行java代码的比对，并且进行合并之后，中文出现了乱码。问题原因：使用Beyond Compare工具打开java源码的时候，不管源文件是什么编码，它都默认是ANSI编码方式，将带有中文的代码合并后，使用Eclipse打开时ANSI–>GBK的时候就会出现乱码。解决方案，将两边对比文件默认的ANSI编码方式改为UTF-8的编码方式，...
2018-03-10 17:01:30
1218
原创 动态代理技术的实现与理解
最近在看《深入理解java虚拟机 –JVM高级特性与最佳实战》这本书，看到动态代理这个部分，虽然以前学习spring的时候就学过动态代理的知识，但是这次看到，突然感受到了不一样的理解，特此分享出来，请大家多多指教。 动态代理实现小例子：package ObjectCreate;import java.lang.reflect.InvocationHandler;im...
2018-03-07 11:55:44
803
转载 Oracle 数据库存储过程学习笔记
1、最简单的创建存储过程CREATE [OR REPLACE] PROCEDURE 存储过程名[(参数[IN|OUT|IN OUT] 数据类型…)]{AS|IS}[说明部分]BEGIN可执行部分[EXCEPTION错误处理部分]END [过程名];其中：可选关键字OR REPLACE 表示如果存储过程已经存在，则用新的存储过程覆盖，通常用于存储过程的重建。...
2018-03-06 14:58:56
331
转载 Oracle 数据库触发器学习笔记
一、触发器简介触发器的定义就是说某个条件成立的时候，触发器里面所定义的语句就会被自动的执行。因此触发器不需要人为的去调用，也不能调用。然后，触发器的触发条件其实在你定义的时候就已经设定好了。这里面需要说明一下，触发器可以分为语句级触发器和行级触发器。详细的介绍可以参考网上的资料，简单的说就是语句级的触发器可以在某些语句执行前或执行后被触发。而行级触发器则是在定义的了触发的表中的行数据改变时就会...
2018-03-06 14:03:13
271
原创 eclipse导入项目时，项目名称发生改变
问题描述： 今天eclipse导入项目导入项目时，发现一个奇怪的现象，明明项目名称为“Comm”，但是导入进eclipse时，项目名称却变成了“Common”,然后项目与svn进行关联时，使用项目名进行关联，发现关联后，项目下面的代码都是未提交状态，很是奇怪。问题原因1：导入的项目名称错误是因为不知道什么原因导致工作空间中，该项目的.project文件发生变化，里面的标签中的项目名
2018-03-06 11:26:19
3550
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人