关闭

spark学习之combineByKey函数

在数据分析中,处理Key,V alue的Pair数据是极为常见的场景,例如我们可以针对这样的数据进行分组、聚合或者将两个包含Pair数据的RDD根据key进行join。从函数的抽象层面看,这些操作具有共同的特征,都是将类型为RDD[(K,V)]的数据处理为RDD[(K,C)]。这里的V和C可以是相同类型,也可以是不同类型。这种数据处理操作并非单纯的对Pair的value进行map,而是针对不同的k...
阅读(167) 评论(0)

初识Spring Boot

前言:Spring Boot旨在简化Spring的开发,因此学习Spring Boot的时候就不可避免需要涉及到Spring的方方面面。Spring Boot将很多魔法带入了Spring应用程序的开发之中,在spring Boot中有四个特别重要的内容:分别是自动配置、起步依赖、命令行界面和Actuator。同时Spring Boot也将改变我们传统的开发方式,将我带入微服务的世界。 自...
阅读(273) 评论(0)

scala如何连接和操作mysql/oracle/sqlserver数据库

【问题场景】   在scala中怎么连接mysql/oracle/sqlserver数据库,进行数据库操作。 * 【解决思路】   了解scala的强大特性我们会发现java中的东西,scala基本可以拿来使用,那么要解决scala连接数据库的问题,自然是可以通过java最经典的JDBC方式来解决,当然了现在针对scala操作数据库的,已经有涌现出了很多封装框架如ScalaQuery...
阅读(923) 评论(0)

Spark Core核心编程之广播变量剖析

本文转自AiTi修炼|大数据技术窥探 记录一些个人学习Scala,Spark,Hadoop,Storm,Nodejs,RSpark,Storm,Hbase,Hive,Flume等IT技术的历程 如果深入思考spark的分布式集群工作过程,就会发现有一些问题是分布式多节点需要考虑解决的。如一些变量在集群节点之间的拷贝。如我们在应用程序中编写代码,实际运行时候是将相关的代码...
阅读(285) 评论(0)

Spark学习资源整合(持续更新)

一、为什么学习Spark   大数据技术快速发展,Spark为Hadoop大数据技术生态体系带了新的活力与技术革新。至于为什么学习Spark,这样的问题真的是一千个人心中有一千个哈姆雷特。Spark的官网告诉我们:Apache Spark™ is a fast and general engine for large-scale data processing.而其独特魅力已经在疯狂地影...
阅读(551) 评论(0)

scala案例学习之Currying柯里化

【写在前面】      由于之前工作的一些特殊情况,加上在比较多使用知识管理软件(为知/有道云笔记等)后,就越来越少写博客,但在生活工作却总感觉缺少了点东西,蓦然回首发现原来是“丢失了”"学习写作"的修炼心。故有必要重新治理一下博客,以rscala.com记录、分享自己在IT技术自我修炼与窥探历程。 一、初识Currying柯里化   柯里化(Currying)技术 Ch...
阅读(394) 评论(0)

转载hadoop实践路上异常问题以及相关解决方法记录

hadoop实践路上异常问题以及相关解决方法记录,这篇文章不错,帮我解决了hadoop几个折腾了好久的问题,记录一下。 原文转载自:http://rscala.com/index.php/38.html...
阅读(336) 评论(0)

jkd7、tomcat7安装详解。Neither the JAVA_HOME nor the JRE_HOME environment variable is defined 错误解决

1.JKD7直接双击就可以安装。无需多讲.两者配套使用 jkd7下载地址:http://www.oracle.com/technetwork/java/javase/config-417990.html tomcat7下载地址:http://tomcat.apache.org/download-70.cgi jdk环境变量配置:我的jdk安装在c盘。则把C:\Progra...
阅读(9338) 评论(1)

网络分析能力修行模型

概述        数次应业内朋友之邀,为其团队培训网络分析技术,从第一次开始,我就着手架构这个能力修行模型的框架,但还不够完善和成熟。随着我对网络分析技术理解的深入和本身水平的提升以及培训次数的增加,我不断的将其完善,并最终形成现在的雏形。        根据这个网络分析能力修行模型,初学者可以清晰了解如何入手学习网络分析技术,并按部就班、循序渐进的提升网络分析技术的能力水平。  ...
阅读(755) 评论(0)

别具匠心的HTTP应用层行为设计

今年的年初,有位兄弟在QQ跟我讨论一个较为少见的报文交互情况,我当时在看了具体的报文交互之后,对他说是某种HTTP探测机制,他则对我说有人认为是某种SACK的重传机制,记得我曾说过我会找时间好好研究一下这个交互的行为,后来的确也写了一些分析、画了一些图示,但是在未完成的情况下被耽搁了,直至最近才把这个翻出来,闲话少说,我们还是直奔主题,一起来看一下这个有意思的应用交互行为吧。        ...
阅读(578) 评论(0)

网络分析技术学习步骤

网络分析技术学习步骤 网络分析有以下典型作用:  查看网络中的流量分布;l  查看网络中的协议分布;l  查看网络中各主机的通讯信息;l  快速定位并排查网络故障;l  找出网络中潜在的安全隐患;l  查找网络中的蠕虫病毒攻击,黑客攻击,木马攻击;l  协议学习;l  。。。。。。l 对于网络分析的学习,我们推荐按照以下的学习步骤: 首先,必须了解并掌握网络分析的...
阅读(773) 评论(0)

使用sql提取url域名信息

rl截取分析过程,在话单采集过程中,对访问记录url进行分析。 1.URL是IP:port截取出IP和端口 2.url是域名的,保留域名 select t.url,substr(url, 8),substr(substr(url, 8), 1, instr(substr(url, 8), '/')-1), substr(substr(substr(url, 8), 1, ins...
阅读(1092) 评论(0)

storm简介

场景 伴随着信息科技日新月异的发展,信息呈现出爆发式的膨胀,人们获取信息的途径也更加多样、更加便捷,同时对于信息的时效性要求也越来越高。举个搜索场景中的例子,当一个卖家发布了一条宝贝信息时,他希望的当然是这个宝贝马上就可以被卖家搜索出来、点击、购买啦,相反,如果这个宝贝要等到第二天或者更久才可以被搜出来,估计这个大哥就要骂娘了。再举一个推荐的例子,如果用户昨天在淘宝上买了一双袜子,今天想买一...
阅读(434) 评论(0)

大数据处理点滴笔记

自我头脑风暴,说得对与错都请指点,后续补充。   当下三大技术热点:高并发、分布式、大数据(也许,还有很多,这只是自我修炼的三个目标)。 大数据处理系统有几点要求: 低延迟高性能分布式可扩展(更多的要求是可横向扩展)容错 现在用的比较多的就是Hadoop、Storm。   Hadoop 依赖于HDFS磁盘延时较高(可精确到小时)统计结果存在HBase...
阅读(386) 评论(0)

需求分析与系统设计的面向对象推导过程

几年前写的了,这两天整理东西的时候又给翻出来了,当时是公司让给我给设计人员讲讲如何写面向对象的设计说明书,所以临时东拼西凑的弄了这么个东西,毕竟是用于内部培训的,有些东西都是直接从网上整段COPY的,最多就是用自己的话又修饰了一遍,在此说明一下,各位看到的时候,莫过多纠结于此 。     一. 引言 1.1 文档概要       概要很简单...             1.2...
阅读(1186) 评论(0)
504条 共34页1 2 3 4 5 ... 下一页 尾页
    个人资料
    • 访问:333698次
    • 积分:6738
    • 等级:
    • 排名:第3856名
    • 原创:222篇
    • 转载:274篇
    • 译文:8篇
    • 评论:36条
    文章分类
    最新评论
    雨松MOMO的程序世界专栏
    http://blog.csdn.net/xys289187120
    风中叶张龙
    http://blog.csdn.net/ricohzhanglong/article/details/4420123#comments
    愷风(Wei)的专栏
    http://blog.csdn.net/flowingflying/article/category/520736