- 博客(78)
- 资源 (1)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 VUE的生命周期
Vue实例有一个完整的生命周期，也就是从开始创建、初始化数据、编译模板、挂载Dom、渲染→更新→渲染、销毁等一系列过程，我们称这是Vue的生命周期。通俗说就是Vue实例从创建到销毁的过程，就是生命周期。 每一个组件或者实例都会经历一个完整的生命周期，总共分为三个阶段：初始化、运行中、销毁。 实例、组件通过new Vue() 创建出来之后会初始化事件和生命周期，然后就会执行beforeCreat...
2020-03-26 10:55:43
172
原创 Vue基础使用
基础知识： JS ES6 webpack：项目打包 NPM：包管理工具 Vue.js官网：https://cn.vuejs.org/v2/guide/ 讲完文档阅读 1、普通的hello world的代码 <!DOCTYPE html> <html lang="en"> <head> <meta charset="utf-8"> <title&...
2020-03-25 18:16:07
196
转载 canal的使用---2
工作原理 mysql主备复制实现 从上层来看，复制分成三步： master将改变记录到二进制日志(binary log)中（这些记录叫做二进制日志事件，binary log events，可以通过show binlog events进行查看）； slave将master的binary log events拷贝到它的中继日志(relay log)； slave重做中继日志中的事件...
2019-03-09 16:52:03
362
原创 mysql实现主从复制
今天说一下MySQL的主从复制如何做到！ 准备工作： 1.两个虚拟机：我这里用的是CentOS5.5，IP地址分别是192.168.1.101 和192.168.1.105； 101做主服务器，105做从服务器（都已经安装相同版本的Mysql）； 2.本机环境：Apache+PHP+MySQL 好了，现在开始吧，来看看这听起来高大上的主从复制是怎么回事。 原理...
2019-03-09 16:39:49
352
原创 kafka之直连方式
直连方式： import kafka.common.TopicAndPartition import kafka.message.MessageAndMetadata import kafka.serializer.StringDecoder import kafka.utils.{ZKGroupTopicDirs, ZkUtils} import org.I0Itec.zkclient.Zk...
2018-11-29 15:29:12
1666
原创 sparkStreaming-获取kafka数据并按批次累加
sparkStreaming-获取kafka数据并按批次累加 import org.apache.spark.{HashPartitioner, SparkConf} import org.apache.spark.streaming.dstream.ReceiverInputDStream import org.apache.spark.streaming.kafka.KafkaUtils ...
2018-11-29 15:28:47
2415
原创 udf和udaf
UDF:计算单词的长度 import org.apache.spark.sql.types.{StringType, StructField, StructType} import org.apache.spark.sql.{Row, SparkSession} object udfDemo { def main(args: Array[String]): Unit = { va...
2018-11-29 12:51:45
722
原创 统计所有用户对每个学科的各个模块的访问次数，再取Top3
如有一下的数据： 20161123101523 http://java.learn.com/java/javaee.shtml 20161123101523 http://java.learn.com/java/javaee.shtml 20161123101523 http://ui.learn.com/ui/video.shtml 20161123101523...
2018-11-29 11:25:11
1299
原创 StructuredStreaming
import org.apache.spark.sql.{DataFrame, Dataset, SparkSession} object StructuredStreamingDemo { def main(args: Array[String]): Unit = { //获取程序入口sparkSession val sparksession = SparkSession...
2018-11-16 00:30:05
363
原创 Redis之统计人物出现的次数
import redis.clients.jedis.Jedis; import java.util.Random; public class SetPlayer { private static Jedis jedis = new Jedis("192.168.88.130",6379); public static void main(String[] args) thr...
2018-11-14 21:00:40
1528
原创 使用list实现生产者消费者
1.生产者： import redis.clients.jedis.Jedis; import java.util.Random; import java.util.UUID; //实现存list类型的数据，模拟生产者 public class TaskProducer { private static Jedis jedis = new Jedis("192.168.88.130...
2018-11-14 20:34:51
531
原创 将对象以json的形式写入
1. 首先创建一个Product类，并实现序列化 import java.io.Serializable; //将类的对象按照字符串格式存到redis public class Product implements Serializable{ private String name; private int price; private String desc; ...
2018-11-14 20:27:26
2160
原创 基于hush的模拟类似于购物车的功能-HushDemo
//实现类似于购物车的功能 import redis.clients.jedis.Jedis; import java.util.Map; public class HushDemo { private static Jedis jedis = new Jedis("192.168.88.130", 6379); //添加商品,将商品信息保存到散列表里面 public ...
2018-11-14 20:09:54
239
原创 Redis操作String类型
import redis.clients.jedis.Jedis; import redis.clients.jedis.JedisPool; //简单的String类型 public class JedisClient { public static void main(String[] args) { /* //创建Redis对象，连接Redis服务器 ...
2018-11-14 20:00:40
272
原创 基于kafka的SparkStraming的WC--SparkStramingKafkaWC
import org.apache.spark.SparkConf import org.apache.spark.streaming.dstream.ReceiverInputDStream import org.apache.spark.streaming.kafka.KafkaUtils import org.apache.spark.streaming.{Seconds, Streami...
2018-11-14 19:53:43
397
原创 基于kafka模拟生产者和消费者
zookeeper的启动脚本： #!/bin/sh echo "start zookeeper server..." hosts="hadoop0300 hadoop0301 hadoop0302" for host in $hosts do ssh $host "source /etc/profile; /root/app/zookeeper-3.4.7/bin/zkServer....
2018-11-14 19:43:03
5257
3
原创 基于spark sql 统计爬取到的个网站的一天访问量
数据： import org.apache.spark.sql.{DataFrame, SparkSession} object words1 { def main(args: Array[String]): Unit = { val session = SparkSession.builder().appName("words").master("local[*]").ge...
2018-11-14 19:09:26
964
2
原创 spark streaming中窗口函数的简单实用windowOpObj
import org.apache.spark.SparkConf import org.apache.spark.streaming.{Seconds, StreamingContext} object windowOpObj { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppN...
2018-11-14 16:47:06
437
原创 基于sparksql的WC
import org.apache.spark.sql.{DataFrame, Dataset, Row, SparkSession} object sparkSqlWC { def main(args: Array[String]): Unit = { //定义一个sparkSession,getOrCreate相当于单例，如果有SparkSession对象直接使用，没有就直接创...
2018-11-14 16:38:23
518
原创 spark中join的简单操作
（1）RDD之间的join import org.apache.spark.sql.SparkSession object joinDemo { //BroadcastHashJoin def main(args: Array[String]): Unit = { val sparkSession = SparkSession.builder().appName("join...
2018-11-11 15:38:22
2024
1
原创 spark 求相邻的元素有多少个？
数据： 数据 A;B;C;D;B;D;C B;D;A;E;D;C A;B 如上面的数据，A,B有两个 C,D有一个 D,C有两个 /* A;B;C;D;B;D;C B;D;A;E;D;C A;B */ object Demo2 { def main(args: Array[String]): Unit = { val session = SparkSessio...
2018-11-11 14:59:22
366
原创 基于2.11.8版本的DataFrame的使用sql
（1）DataFrame使用 import org.apache.spark.sql.{DataFrame, Dataset, Row, SparkSession} object sparkSqlWC { def main(args: Array[String]): Unit = { //定义一个sparkSession,getOrCreate相当于单例，如果有SparkS...
2018-11-11 14:45:38
646
原创 spark的RDD练习（关于求学生的成绩）
给定数据如下： 数据 班级ID 姓名 年龄 性别 科目 成绩 12 张三 25 男 chinese 50 12 张三 25 男 math 60 12 张三 25 男 english 70 12 李四 20 男 chinese 50 12 李四 20 男 math 50 12 李四 20 男 english 50 12 王芳 19 女 chinese 7...
2018-11-11 13:47:12
14351
原创 SparkWordCount和JavaWordCount
（1）SparkWordCount import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.rdd.RDD object SparkWordCount { def main(args: Array[String]): Unit = { //创建配置信息 val sparkConf...
2018-11-11 13:34:36
1958
2
原创 基于2.10.6版本的DataFrame操作sql
（1）使用反射的方式 import org.apache.spark.sql.{DataFrame, SQLContext} import org.apache.spark.{SparkConf, SparkContext} object sprkSql { def main(args: Array[String]): Unit = { val conf = new SparkC...
2018-11-11 13:20:50
295
原创 spark中实现自定义排序
排序的方式可以分为6中： （1）使用一个自定义一个普通的类继承Ordered[User] with Serializable import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object CustomSort1 { //排序规则：首先按照颜值的降序，如果颜值相等，再按照年...
2018-11-11 13:00:13
1054
原创 spark streaming中transform过滤广告黑名单
/* transform操作，应用在DStream上时，可以用于执行任意的RDD到RDD的转换操作。它可以用于实现，DStream API中 所没有提供的操作。比如说，DStream API中，并没有提供将一个DStream中的每个batch，与一个特定的RDD进行join 的操作。但是我们自己就可以使用transform操作来实现该功能。 DStream.join()，只能join其他D...
2018-11-10 08:39:53
537
原创 spark streaming中reduceByKeyAndWindow简单例子
窗口的一些简单操作 import org.apache.spark.SparkConf import org.apache.spark.streaming.{Seconds, StreamingContext} object windowOpObj { def main(args: Array[String]): Unit = { val conf = new SparkCon...
2018-11-10 08:30:44
824
原创 spark streaming中WordCount
通过一些简单的案例，可以知道一些大致的用法 1.对每一个批次的数据进行操作： import org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream} import org.apache.spark.streaming.{Seconds, StreamingContext} import org.apache.spar...
2018-11-10 00:42:23
1145
原创 spark中根据基站位置判断用户家庭工作地址练习
方式1：常规的RDD操作 import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} //(1)使用普通的RDD的方式 object user1 { def main(args: Array[String]): Unit = { val conf = new Spa...
2018-11-08 01:24:16
842
原创 spark中ip归属地访问的次数练习
IP地址归属地信息练习 用户访问日志信息： **案例需求：** 根据访问日志的IP地址计算出访问者的归属地，并且按照省份，计算出访问次数，然后将计算好的结果写入到MySQL **案例实现步骤** 1，加载IP地址归属地信息，切分出IP字段和省份信息，（将IP地址转换成十进制，方便于后面快速查找） 2，将IP地址和省份信息通过广播缓存到各个节点内存中（Executor中的内存中） 3，...
2018-11-07 19:34:26
722
原创 mysql基础操作(2)
– 1、创建day16数据库： mysql&amp;amp;amp;amp;amp;gt; create database day16 -&amp;amp;amp;amp;amp;gt; default character set utf8; Query OK, 1 row affected (0.00 sec) – 2、查看书否创建成功： mysql&amp;amp;amp;amp;amp;gt; show databases; +———
2018-04-01 21:14:37
386
原创 mysql基础操作(1)
基础操作：*********** 1、查看表中的数据库： mysql&amp;gt; show databases; +——————–+ | Database | +——————–+ | information_schema | | day15 | | day28 | | mybse | | m
2018-04-01 21:13:32
408
注释的那一句啥意思求大神解答还有第一个元素是啥
2017-03-14
TA创建的收藏夹 TA关注的收藏夹
TA关注的人