- 博客(17)
- 资源 (12)
- 收藏
- 关注
RSS订阅原创 利用ajaxfileupload.js实现文件上传
1.首先 <script type="text/javascript" src="../js/ajaxfileupload.js"></script>2.前端<form class="am-form am-form-horizontal" id="informationSubit" enctype="multipart/form-da
2019-01-30 19:10:40
320
原创 离线处理网站的PV,UV方案
流程：导入数据hdfs（flume-->hdfs） 建立hive表 把hdfs上的数据导入到hive表里面 数据清洗-->（先有一个数据清洗表） 数据分析，数据统计-->存放一张表里面 把hive表的数据导出到，mysql中 把mysql里面的㐇给查出来，展示到页面何为PV？PV（page view）访问量，即页面浏览量或点力量，衡量网站用户访问的网页数量；...
2019-01-17 21:04:39
412
原创 一套完整的webserver+Flume+kafka+storm整合方案
实时处理系统：（Flume+Kafka+Storm+hbase+mysql） 为什么要记录访问日志的行为？通过日志我们可以得到网站页面上的访问量，网站的黏性，推荐用户行为分析，是指在获得网站访问量基本数据的情况下，对有关数据进行统计、分析，从中发现用户访问网站的归类，并将这些规律与网络营销策略等相结合，从而发现目前网络营销活动中可能存在的问题，并为进一步修正或重新制定网络营...
2019-01-17 20:28:09
445
原创 基于SparkStreaming的Window Operations
Window Operations有点类似于Storm中的State，可以设置窗口的大小和滑动窗口的间隔来动态的获取当前Steaming的允许状态import org.apache.spark.SparkConfimport org.apache.spark.streaming.{Milliseconds, Seconds, StreamingContext}object Wind...
2019-01-15 21:35:56
265
原创 SparkStreaming整合Kafka
<properties> <maven.compiler.source>1.7</maven.compiler.source> <maven.compiler.target>1.7</maven.compiler.target> <encoding>UTF-8</en...
2019-01-15 20:50:24
314
原创 Spark整合Hive
通过hive来创建一定格式的表，将相应的数据上传到hdfs相应的hive目录下，实现用spark的SQL风格进行读取里面的数据Hive SQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduce的程序的复杂性，由于MapReduce这种计算模型执行效率比较慢。所以有SparkSql的应用而生，他是将sparksql转换成RDD，然后提交到集群执行，执行效率非常快！...
2019-01-14 20:17:27
1470
转载 SSM 上传多个文件也可以上传多张图片
本文章属于转载，博主链接：https://blog.csdn.net/weixin_42451089/article/details/85683142 html 代码块：<form class="layui-form" id="formreset" enctype="multipart/form-data"> <div class="layui-form-item"&
2019-01-12 10:20:57
662
原创 基于Spark下查询ip详细信息Demo
本demo全是模拟现实的案例所需的数据源文件链接: https://pan.baidu.com/s/1dd4AeNv4SiEToE81P6PPfA 提取码: 4qqi import java.io.{BufferedReader, FileInputStream, InputStreamReader}import scala.collection.mutable.ArrayBuffe...
2019-01-11 21:43:14
369
原创 基于Spark下的查询数据库中信息Demo
import java.sql.DriverManagerimport org.apache.spark.rdd.JdbcRDDimport org.apache.spark.{SparkConf, SparkContext}object JDBCRDDDemo extends App { val conf = new SparkConf().setAppName("JDBCRDD...
2019-01-11 20:40:32
395
原创 基于Spark下的自定义分区Demo
本demo所需的数据源：链接: https://pan.baidu.com/s/1VEluh5B3HnodZFyoOZ9Zg 提取码: enmq import java.net.URLimport org.apache.spark.{Partitioner, SparkConf, SparkContext}import scala.collection.mutableobje...
2019-01-11 20:37:18
189
原创 基于Spark下自定义排序Demo
import org.apache.spark.{SparkConf, SparkContext}object CustomSort { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("CustomSort").setMaster("local[2]") val ...
2019-01-11 20:27:38
157
原创 基于Spark下基站与手机号连接时间判定机主住地
本demo全属于模拟本demo所需的数据链接：链接: https://pan.baidu.com/s/1KwBctUxE5AxfEBmiZfBmzQ 提取码: n3ft import org.apache.spark.{SparkConf, SparkContext}object NetAndHome { def main(args: Array[String]): Unit...
2019-01-11 20:22:09
375
原创 基于Spark下WordCount的Demo
import org.apache.spark.{SparkConf, SparkContext}object WordCount { def main(args: Array[String]): Unit = { /** * 创建SparkConf（）并设置App名称 * local指本地 * 2代表在本地起两个线程 */ ...
2019-01-11 20:06:54
303
原创 Spark高级算子
map是对每一个元素操作；mapPartitions是对其中的每个partition操作；mapPartitionsWithIndex:把每个partition中的分区号和对应的值拿出来，看源码：def mapPartitionsWithIndex[U](f : scala.Function2[scala.Int, scala.Iterator[T], scala.Ite...
2019-01-10 20:44:17
514
原创 Spark低级算子
什么是RDD？RDD(Rdeilient Distributed Dataset)叫做分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显示地将工作集缓存在内存中，后续的查询能够重用工作集，这极大的提升了查询速度。RDD的属性（源码注释）一组...
2019-01-10 19:48:33
153
原创 SpringBoot
1.Spring的发展史1.1Spring1.X时代都是通过xml文件配置bean，随着项目的不断扩大，需要将xml配置分放到不同的配置文件中，需要频繁的在java类和xml配置文件中切换。1.2Spring2.X时代随着JDK1.5带来的注解支持，spring2.X可以使用注解对bean进行申明和注入，大大减少了xml配置文件，同时也大大简化了项目的开发。那么问题来了，究竟是...
2019-01-03 21:32:18
254
4
JDBC开发精讲
2018-08-14
java_异常精讲
2018-08-10
java接口精讲
2018-08-10
java抽象类
2018-08-10
javaSetMap接口
2018-08-10
java文件与I/O流
2018-08-09
java内部类
2018-08-09
java基础标示符数据类型运算符
2018-08-09
java基础流程控制循环结构
2018-08-09
java基础流程控制if，switch分支
2018-08-09
java基础继承
2018-08-09
apache-tomcat-7.0.90-windows-x86
2018-07-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人