- 博客(12)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Spark Streaming开发入门——WordCount（Java&Scala）
一、Java方式开发1、开发前准备假定您以搭建好了Spark集群。2、开发环境采用eclipse maven工程，需要添加Spark Streaming依赖。3、Spark streaming 基于Spark Core进行计算，需要注意事项： 设置本地master，如果指定local的话，必须配置至少二条线程，也可通过sparkconf来设置，因为Spark Streaming应用程序在运行的时
2016-04-21 18:26:46
6981
原创 基于HDFS的SparkStreaming案例实战和原理浅析
概要本节主要讲解在开发环境中编写SparkStreaming代码监控hdfs目录，实现实时wordCount计算。先通过Java方式演示过程，并在文末提供Scala版本代码。一、环境准备1.启动Hadoop集群cd /usr/local/hadoop/hadoop-2.6.0/sbin/./start-dfs.sh //通过http://master:50070（50070为默认端口）查看d
2016-04-19 10:16:59
5132
2
原创 项目总结（1）
【1】注册格式验证，正则表达式[各种常用表达式，及使用方法] 重复验证，ajax css样式修改、提示框【2】登陆密码验证，传输安全性，MD5 Session… Shiro 过滤器，安全认证，权限获取【3】密码找回邮箱发送 手机短信发送、http请求 验证码 验证机制 存session中，分布式部署会出问题 存数据库中，流程【4】主页跳转forward和 全局【5】评论、收藏@Tra
2016-04-08 11:46:26
609
原创 Spark程序运行报错解决（1）
报错内容：System memory 259522560 must be at least 4.718592E8. Please use a larger heap size.解决：Window——Preference——Java——Installed JREs——选中一个Jre 后 Edit在Default VM arguments 里加入：-Xmx512Meclipse操作图示：
2016-04-08 11:39:51
5241
原创 linux基础命令学习（1）
基础操作修改机器名 ：vim /etc/hostname在文件中修改机器名称为我们想要的名称：hulb 然后 关机： shutdown –h now 重启： reboot –h now 查看ip：ifconfig 通过vim /etc/hosts来建立域名和ip之间的映射关系，访问的时候访问域名hulb就行了例如： 192.168.1.110 work1查看当前所在目录
2016-04-08 11:34:33
414
原创 Json的解析
Result：{ "project": { "code": "lmx", "description": "", "firstparty": "", "id": 161, "isdelete": "n", "managercode": "AAA", "managername": "
2016-04-08 11:30:57
440
原创 Java解析XML简单版
JAVA 文件 Reader.javaimport java.util.List;public class Reader { /** * @author lxh * @param args */ public static void main(String[] args) { try { List<Stri
2016-04-08 11:26:35
683
原创 Hibernate实现不带条件的简单分页查询
Hibernate实现不带条件的简单分页查询。 主要用到：Query query = getSessionDao().createQuery(hql1); 及两个分页条件：query.setFirstResult(firstPage*pageSize);//设置查询起始数query.setMaxResults(pageSize);//设置查询最大结果数 代码示例： /**
2016-04-08 11:20:33
821
原创 曾经经历的面试题汇总（2）
1.socket网络编程是怎样传送数据的 TCP/IP协议。TCP/IP由四个层次组成：网络接口层、网间网层、传输层、应用层 2.GUI全称,英文名 图形用户界面（Graphical User Interface，简称 GUI，又称图形用户接口）是指采用图形方式显示的计算机操作用户界面。 3.怎么访问数据库，数据持久化怎么实现的。持久化的好处：通过持久化技术可以减少访问数据库数据
2016-04-08 10:17:22
861
原创 曾经经历的面试题汇总（1）
1.多线程的几个状态？以及何时处于这个状态。？ 链接：java线程的几个概念和方法 开始（创建）：在生成线程对象，并没有调用该对象的start方法，这是线程处于创建状态。 就绪：当调用了线程对象的start方法之后，该线程就进入了就绪状态，但是此时线程调度程序还没有把该线程设置为当前线程，此时处于就绪状态。在线程运行之后，从等待或者睡眠中回来之后，也会处于就绪状态。 运行：线程
2016-04-08 09:45:13
580
原创 [Java基础]常用Java类方法
一、java类共同的父类Object1、hashCode()方法格式：public int hashCode()功能：返回当前对象哈希码数值2、toString()方法功能：以字符串形式返回当前对象的有关信息。注意：一般要重写toString.3、equals()方法。功能：比较当前对象和方法参数obj所引用的对象两者的等价性，比较的是变量的值（内容）。而“==”比较的是内存地址。4、fina
2016-04-08 09:18:18
459
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人