- 博客(42)
- 收藏
- 关注
RSS订阅原创 SparkStreaming的实时单词统计小例子
package com.yc.sparkimport org.apache.spark.SparkConfimport org.apache.spark.SparkContextimport org.apache.spark.sql.SQLContextimport org.apache.spark.sql.Rowimport org.apache.spark.sql.
2017-10-02 11:12:09
817
原创 实现 RDDs 与 DataFrames的互操作(一)
package com.yc.sparkimport org.apache.spark.SparkConfimport org.apache.spark.SparkContextimport org.apache.spark.sql.SQLContextobject SparkRDD07 { def main(args: Array[String]): Uni
2017-09-25 08:52:22
379
原创 scala基础练习：实现日历练习
package com.yc.scalaimport java.util.Scannerobject MyCalendar { def main(args: Array[String]){ //1.取到日期 val input: Scanner = new Scanner(System.in); print("请输入日期的年份和月份：")
2017-09-17 16:30:45
652
转载 协同过滤推荐算法的原理及实现
协同过滤推荐算法的原理及实现协同过滤推荐算法是诞生最早，并且较为著名的推荐算法。主要的功能是预测和推荐。算法通过对用户历史行为数据的挖掘发现用户的偏好，基于不同的偏好对用户进行群组划分并推荐品味相似的商品。协同过滤推荐算法分为两类，分别是基于用户的协同过滤算法(user-based collaboratIve filtering)，和基于物品的协同过滤算法(item-based colla
2017-09-10 16:11:06
952
原创 模拟网商订单生成器
1.订单数据格式：orderNumber: XX | orderDate: XX | paymentNumber: XX | paymentDate: XX | merchantName: XX | sku: [ skuName: XX skuNum: XX skuCode: XX skuPrice: XX totalSkuPrice: XX;skuName: XX skuNum: XX
2017-09-03 15:58:42
8885
原创 running beyond virtual/physical memory limits问题解决
Container killed on request. Exit code is 143Container exited with a non-zero exit code 14317/08/25 20:06:31 INFO mapreduce.Job: Task Id : attempt_1503705857308_0004_m_000000_0, Status : FAILE
2017-08-26 15:59:17
4869
1
原创 Writable实现类 与 自定义Writable接口
Hadoop中， 并没有使用Java自带的基本类型类， 而是使用自己开发的类，包括IntWritable, FloatWritable, BooleanWritable, LongWritable, ByteWritable, BytesWritable, DoubleWritable, Text等等 Hadoop自带的数据类型可以满足一些简单的数据操作。 但有时，负载的数据类型需要自
2017-08-20 20:59:43
1779
原创 Writable接口 与 WritableComparable接口
Hadoop中，Writable接口定义了两个方法：void write(DataOutputout) throws IOException;用户将其状态写入二进制格式的DataOutput流。void readFields(DataInputin) throws IOException;用于从二进制格式的DataInput流读取其状态 Writable的序列化和反序列化检
2017-08-16 07:29:37
1058
原创 MapReduce基础：HDFS的数据完整性
HDFS会对写入的所有数据计算校验和，并在读取数据时验证校验和。DataNode负责在接收到数据后存储该数据及验证校验和 恢复损坏的Block, 主要有以下几步：1）客户端在读取Block时，如果检测到错误，首先向NameNode报告已损坏的Block及其正在尝试读操作的这个DataNode,再抛出ChecksumException2）NameNode将这个Block副本标
2017-08-06 18:21:56
381
原创 Linux及 Linux Shell简介
1.1 Linux的理念v 小即是美v 让程序只做好一件事v 可移植性比效率更重要v 一切即文件v 使用Shell脚本来提高效率和可移植性v 避免使用可定制性低下的用户界面v 所有程序都是数据的过滤器1.2 Linux Kernel 是什么Linux Kernel: Linux内核，即Linux操作系统的核心。它主要由以下模块组成：v 进程管理v 定时器
2017-07-30 18:09:39
253
原创 zookeeper配制zoo.cfg
tickTime=2000 initLimit=10syncLimit=5dataDir=/mysoftware/zookeeper-3.4.9/zkDatadataLogDir=/mysoftware/zookeeper-3.4.9/zkLogsclientPort=2181server.1=slave01:2888:3888server.2=slave02:2888
2017-07-23 19:10:09
463
转载 Ubuntu 16.04 几个国内更新源
Ubuntu 16.04 几个国内更新源如何更改源 可以在软件更新中选择源 使用如下命令更改(修改前先备份): sudo vim /etc/apt/source.list东北大学deb-src http://mirror.neu.edu.cn/ubuntu/ xenial main restricted #Added
2017-07-16 19:15:46
938
原创 warning: push.default is unset错误提示
1 错误现象：在执行 git push 时看到如下消息:2 产生原因：push.default 没有设置。push.default 默认的值，在Git 2.0下，从’matching’ 变成了’simple’.3 解决方法： //设置默认行为为simple。 Git2.0以后 git config --global push.default simple
2017-07-06 16:29:53
344
原创 linux系统操作的基本命令
目录操作命令pwd、cd、ls、mkdir、du文件操作命令touch、file、cp、rm、mv、which、find、ln文件内容操作命令cat、more、less、head、tail、wc、grep归档及压缩命令tar(xxx.tar, xxx.tar.gz)
2017-06-26 14:16:21
248
原创 java的数据库连接技术
java连接数据库处理的基本步骤为：1.加载驱动 ： Class.forName("数据库驱动处理类全类名"); 2.连接数据库: Connection con = DriverManager.getConnection("数据库连接url", "数据库连接用户名", "数据库连接密码");3.创建sql语句执行平台 Statement st = con.c
2017-06-13 16:10:27
426
原创 http报文格式
请求：request_method(post, get) request_uri(/test/index.jsp) http_protocol_version(1.0/1.1) CRLFheader_param1: header_value1 CRLF (请求首部：可以使用通用首部，请求首部， 实体首部， 扩展首部)header_param2: header_value2 CRLF
2017-06-11 13:50:02
349
原创 VMware网络配制说明
网络连接方式：桥连接： 可以连接外网， 可以连接外部机器NAT: 可以连接外网， 不可以连接外部机器， 只能与本机连接仅主机：不可以连接外网， 不可以连接外部机器， 只能与本机连接VMnet信息： 桥连接： VMnet0NAT: VMnet8仅主机： VMnet1 桥连接：复制本机网卡信息，有静态IP与动态IP, 与本机的IP获取方式相同NAT:
2017-06-06 21:47:05
246
原创 OKHttp（一）入门
OkHttp官网地址：http://square.github.io/okhttp/ OkHttp GitHub地址：https://github.com/square/okhttp OkHttp自我介绍： OkHttp是一款优秀的HTTP框架，它支持get请求和post请求，支持基于Http的文件上传和下载，支持加载图片，支持下载文件透明的GZIP压缩，支持响应缓存避免重复的
2017-06-04 16:56:40
352
原创 关于eclipse maven项目直接发布到tomcat服务器找不到lib的解决方法
在我们使用eclipse开发maven项目时， 有可能会出现发布项目到tomcat服务器上时出现java.lang.ClassNotFoundException异常但在本地测试没有问题，然后去%TOMCAT_HOME%/webapps/发布的项目名/WEB-INF下去看，发现没有lib目录或所有的发布jar都包没有问题出现的原因找到了，那是因为发布项目时，没有指
2017-05-24 18:26:05
1642
转载 使用gethostname()函数和gethostbyname()函数获取主机相关信息
gethostname() ： 返回本地主机的标准主机名。原型如下：#include int gethostname(char *name, size_t len);参数说明：这个函数需要两个参数：接收缓冲区name，其长度必须为len字节或是更长,存获得的主机名。接收缓冲区name的最大长度返回值：如果函数成功，则返回0。如果发生错误则返回-1。错误号存放在外
2017-05-18 17:23:01
3937
转载 【项目管理与构建】——Nexus的详细介绍以及安装（四）
这篇博文我们简单的介绍maven的私服Nexus。简介 Nexus是Maven仓库管理器，也可以叫Maven的私服。Nexus是一个强大的Maven仓库管理器，它极大地简化了自己内部仓库的维护和外部仓库的访问。利用Nexus你可以只在一个地方就能够完全控制访问和部署在你所维护仓库中的每个Artifact。Nexus是一套“开箱即用”的系统不需要数据
2016-10-24 18:52:51
308
转载 【项目管理和构建】—— eclipse配置maven + 创建maven项目（三）
这篇博文我们配置一下eclipse，将它和maven结合，并我们创建一个maven的项目。准备工作在eclipse配置maven之前需要我们做好准备工作，如下： 1. 安装jdk 2. 已安装好 maven，将maven配置成功 3. 下载Eclipse，解压缩安装完成，建立工作空间。 这些内容相信大家都已经轻车熟路了，如果不会，请大家查看上篇博文，这里就不再累述了
2016-10-24 18:51:02
353
转载 【项目管理和构建】——Maven下载、安装和配置（二）
Maven主要做的是两件事：统一开发规范与工具统一管理jar包这两件事情他都做到了，而且还做了更多的事情。Maven还可以管理项目的整个声明周期，包括编 译，构建，测试，发布，报告等等。目前Apache下绝大多数项目都已经采用Maven进行管理。而Maven本身还支持多种插件，可以方便更灵活的控制项目。工欲善其事，必先利其器。咱们也来玩玩 Maven
2016-10-24 18:49:11
246
转载 【项目管理和构建】——Maven简介（一）
在现实的企业中，以低成本、高效率、高质量的完成项目，不仅仅需要技术大牛，企业更加需要管理大牛，管理者只懂技术是远远不够的。当然，管理可以说有很多的方面，例如：对人员的管理，也有对项目的管理等等。如果你想成为一个优秀的管理者，你必须得会使用高大上的管理工具。 从这篇博文开始，我会给大家介绍更多的项目管理工具，经过点点滴滴的积累，不断的进步，最终成为管理大牛。简介
2016-10-24 18:47:59
264
转载 深入浅出JMS(四)--Spring和ActiveMQ整合的完整实例
前言这篇博文,我们基于spring+JMS+ActiveMQ+Tomcat，做一个Spring4.1.0和ActiveMQ5.11.1整合实例，实现了Point-To-Point的异步队列消息和PUB/SUB（发布/订阅）模型，简单实例，不包含任何业务。环境准备工具JDK1.6或1.7Spring4.1.0ActiveMQ5.
2016-10-24 18:43:40
486
转载 深入浅出JMS(三)--ActiveMQ简单的HelloWorld实例
使用ActiveMQ为大家实现一种点对点的消息模型。如果你对点对点模型的认识较浅，可以看一下第一篇博文的介绍。JMS其实并没有想象的那么高大上，看完这篇博文之后，你就知道什么叫简单，下面直接进入主题。开发环境我们使用的是ActiveMQ 5.11.1 Release的Windows版，官网最新版是ActiveMQ 5.12.0 Release，大家可以自行下载，下载地址。
2016-10-24 18:42:03
218
转载 深入浅出JMS(二)--ActiveMQ简单介绍以及安装
现实的企业中，对于消息通信的应用一直都非常的火热，而且在J2EE的企业应用中扮演着特殊的角色，所以对于它研究是非常有必要的。上篇博文深入浅出JMS(一)–JMS基本概念，我们介绍了消息通信的规范JMS，我们这篇博文介绍一款开源的JMS具体实现——ActiveMQ。ActiveMQ是一个易于使用的消息中间件。消息中间件我们简单的介绍一下消息中间件，对它有一个基本认识就好，消息
2016-10-24 18:40:43
226
转载 深入浅出JMS(一)--JMS基本概念
摘要：The Java Message Service (JMS) API is a messaging standard that allows application components based on the Java Platform Enterprise Edition (Java EE) to create, send, receive, and read messages
2016-10-24 18:39:09
172
转载 网络基础
一、网络基础1-1.iso/osi 七层模型 iso: 国际标准化组织 osi: 开放系统互联模型上三层给用户提供服务，下四层实际进行数据传入。TPDU 是传输层协议数据单元SPDU 是会话层协议数据单元PPDU 是表示层协议数据单元APDU 是应该层协议数据单元1-2.TCP/IP 四层模型
2016-10-06 22:22:29
233
转载 JVM理解
Dalvik虚拟机能不能执行class文件？为什么不能执行class文件？答：不能，Dakvik并不是一个Java虚拟机，它没有遵循Java虚拟机规范，不能执行Java的class文件，使用的是寄存器架构而不是JVM中常见的栈架构，但是它与Java又有着千丝万缕的关系，它执行的dex文件可以通过class文件转化而来。JVM内存区域我们在编写程序时，经常会遇到OOM（o
2016-10-06 22:00:23
174
转载 KMP模式匹配算法
首先我们需要了解什么是模式匹配？子串定位运算又称为模式匹配（Pattern Matching）或串匹配（String Matching）。在串匹配中，一般将主串称为目标串，将子串称为模式串。本篇博客统一用S表示目标串，T表示模式串，将从目标串S中查找模式串T的过程称为模式匹配。虽然我们的主角是KMP模式匹配算法，但我们还是要先从暴力匹配算法讲起，通过发现暴力匹配算法存在的问题，由此来引出K
2016-10-06 21:43:29
229
转载 基数排序与计数排序
基数排序【基本思想】首先设立r个队列，对列编号分别为0～r-1，r为待排序列中元素的基数（例如10进制数，则r=10），然后按照下面的规则对元素进行分配收集1，先按最低有效位的值，把n个元素分配到上述的r个队列中，然后从小到大将个队列中的元素依次收集起来2，再按次低有效位的值把刚收集起来的关键字分配到r个队列中，重复收集工作3，重复地进行上述分配和收集，直到最高有效位。（也就是
2016-10-06 21:39:40
929
转载 选择排序与归并排序
选择排序直接选择排序【基本思想】每一趟在待排序列中选出最小（或最大）的元素，依次放在已排好序的元素序列后面（或前面），直至全部的元素排完为止。直接选择排序也称为简单选择排序。首先在待排序列中选出最小的元素，将它与第一个位置上的元素交换。然后选出次小的元素，将它与第二个位置上的元素交换。以此类推，直至所有元素排成递增序列为止。选择排序是对整体的选择。只有在确定
2016-10-06 21:37:33
605
转载 交换排序与插入排序
排序算法进行分类：其中每个算法都有其相应的时间复杂度和空间复杂度，这里我也对它们做了一个汇总：排序算法时间复杂度空间复杂度稳定性复杂性平均情况最坏情况最好情况冒泡排序O(n^2)O(n^2)O(n)O(1
2016-10-06 21:11:31
1236
转载 HashMap实现原理分析
概述HashMap是Java集合框架（JavaCollection Framework， JCF）中一个基础类，它在1998年12月，加入到Java 2版本中。在此之后，Map接口本身除了在Java 5中引入了泛型以外，再没有发生过明显变化。然而HashMap的实现，则为了提升性能，不断地在改变。1.hash表的复习在正式学习HashMap源码之前，先复习一下hash表的实现。
2016-10-06 21:01:10
985
转载 Class类，反射的概念
一.认识Class类想要反射，你就必须要了解一个类——Class，我们知道，java程序中的各个java类都属于同一事物，我们通常用Classliability描述对吧，反射这个概念从JDK1.2就出来了，历史算是比较悠久了，这个Class可不是关键字哦，这个是一个类，他代表的是一类事物；我们归根结底就是拿到字节码对象这里我们有三种方式是可以得到对应的实例对象（Clas
2016-10-06 08:19:31
1232
转载 多线程内存溢出产生的实战分析
Caused by: java.lang.OutOfMemoryError: unable to create new native thread at java.lang.Thread.start0(Native Method) at java.lang.Thread.start(Thread.java:597) at java.util.Timer.init>(Time
2016-10-05 08:16:06
1263
转载 性能分析系列
一、开发者的自测利器-Hprof命令1、示例演示例子程序：/** * PROJECT_NAME: test * DATE: 16/7/22 * CREATE BY: chao.cheng **/public class HProfTest { public void slowMethod() { try {
2016-10-05 08:10:12
356
转载 Redis实现分布式锁原理与实现分析
一、关于分布式锁关于分布式锁，可能绝大部分人都会或多或少涉及到。 我举二个例子： 场景一：从前端界面发起一笔支付请求，如果前端没有做防重处理，那么可能在某一个时刻会有二笔一样的单子同时到达系统后台。场景二：在App中下订单的时候，点击确认之后，没反应，就又点击了几次。在这种情况下，如果无法保证该接口的幂等性，那么将会出现重复下单问题。 在接收消息的时候，消息推送重复
2016-10-05 08:02:04
25032
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人