- 博客(21)
- 收藏
- 关注
RSS订阅原创 sparkstreaming实时流处理项目（七）
1.搭建springboot先选择spring initializr -> next创建项目名称选择web版本选择目录因为自定义maven，删除了关于的文件目录结构编写一个helloworld：package com.qianliu.spark.web;import org.springframework.web.bind.annotation.RequestMa...
2019-03-27 22:09:52
1075
原创 有道云大数据学习笔记整理
(1)linux:http://note.youdao.com/noteshare?id=d1774b479933095c8c5f03b9b3ceb491(2)linux2：http://note.youdao.com/noteshare?id=a95a6b16bf1f1e6fd63aa1eb5ea0d757(3)zookeeper:http://note.youdao.com/notesha...
2019-03-22 15:18:45
1706
原创 有道云笔记的java后台开发部分笔记整理归纳
1.jsp(1)jsp的九大内置对象：http://note.youdao.com/noteshare?id=6c024325c6498481c42e79d4392a03c7(2)jsp的使用：http://note.youdao.com/noteshare?id=13b458b9f9a3dede6f14ef4e6fdd4c3f2.sqlserver(1)学习笔记：http://note....
2019-03-22 15:02:37
3269
原创 ccf考试201712_2之游戏
问题描述 有n个小朋友围成一圈玩游戏，小朋友从1至n编号，2号小朋友坐在1号小朋友的顺时针方向，3号小朋友坐在2号小朋友的顺时针方向，……，1号小朋友坐在n号小朋友的顺时针方向。 游戏开始，从1号小朋友开始顺时针报数，接下来每个小朋友的报数是上一个小朋友报的数加1。若一个小朋友报的数为k的倍数或其末位数（即数的个位）为k，则该小朋友被淘汰出局，不再参加以后的报数。当游戏中只剩下一个小朋友时...
2019-03-13 15:04:43
292
原创 ccf考试201812_1之URL映射
问题描述 给定n个数，请找出其中相差（差的绝对值）最小的两个数，输出它们的差值的绝对值。输入格式 输入第一行包含一个整数n。 第二行包含n个正整数，相邻整数之间使用一个空格分隔。输出格式 输出一个整数，表示答案。样例输入51 5 4 8 20样例输出1样例说明 相差最小的两个数是5和4，它们之间的差值是1。样例输入59 3 6 1 3样例输出0样例说...
2019-03-13 13:37:27
215
原创 ccf考试201803_3之URL映射
问题描述 URL 映射是诸如 Django、Ruby on Rails 等网页框架 (web frameworks) 的一个重要组件。对于从浏览器发来的 HTTP 请求，URL 映射模块会解析请求中的 URL 地址，并将其分派给相应的处理代码。现在，请你来实现一个简单的 URL 映射功能。 本题中 URL 映射功能的配置由若干条 URL 映射规则组成。当一个请求到达时，URL 映射功能会将...
2019-03-13 13:33:43
183
原创 sparkstreaming实时流处理项目（六）
1.需求增加将有些是从搜索引擎中过来的url，做一个统计并且写入hbasecreate 'imooc_course_search_clickcount','info'scan 'imooc_course_search_clickcount'编写一个访问程序：package com.qianliu.daoimport com.qianliu.domain.{CourseClick...
2019-03-09 16:45:01
465
原创 sparkstreaming实时流处理项目（五）
1.写入数据到hbase首先要保证：hadoop，zookeeper，hbase，flume，kafka都启动了（1）进入hadoop的sbin目录启动hdfs./start-dfs.shjps查看：进入到hbase的bin目录下：start-hbase.shjps查看：2.创建hbase表进入hbase命令行hbase shelllist查看表单list数...
2019-03-09 16:32:45
765
原创 sparkstreaming实时流处理项目（四）
1.监控最新的日志使用命令检测日志:tail -200f access.log2.编写flume的confvi streaming_project.conf添加conf内容exec-memory-logger.sources = exec-sourceexec-memory-logger.sinks = logger-sinkexec-memory-logger.channe...
2019-03-09 15:08:10
380
原创 ccf考试201803_2之碰撞的小球
问题描述 数轴上有一条长度为L（L为偶数)的线段，左端点在原点，右端点在坐标L处。有n个不计体积的小球在线段上，开始时所有的小球都处在偶数坐标上，速度方向向右，速度大小为1单位长度每秒。 当小球到达线段的端点（左端点或右端点）的时候，会立即向相反的方向移动，速度大小仍然为原来大小。 当两个小球撞到一起的时候，两个小球会分别向与自己原来移动的方向相反的方向，以原来的速度大小继续移动。 ...
2019-03-09 13:05:24
141
原创 ccf考试201803_1之跳一跳
问题描述 近来，跳一跳这款小游戏风靡全国，受到不少玩家的喜爱。 简化后的跳一跳规则如下：玩家每次从当前方块跳到下一个方块，如果没有跳到下一个方块上则游戏结束。 如果跳到了方块上，但没有跳到方块的中心则获得1分；跳到方块中心时，若上一次的得分为1分或这是本局游戏的第一次跳跃则此次得分为2分，否则此次得分比上一次得分多两分（即连续跳到方块中心时，总得分将+2，+4，+6，+8…）。 现...
2019-03-08 21:21:56
133
原创 ccf考试201809_3元素选择器
代码评分：40总结:（1）还是那个意思，如果在较短的时间内拿到差不多的分数就够了，其他时间可以放在第4题上面试试能不能也拿几十分。import java.util.ArrayList;import java.util.Arrays;import java.util.Scanner;public class Main { public static void main(S...
2019-03-08 16:34:15
158
原创 ccf考试201812_4之数据中心
样例输入4511 2 31 3 41 4 52 3 83 4 2样例输出4样例说明 下图是样例说明。代码评分：20总结：(1)这个题目的难度就在于kruskal算法的编写以及优化。可以看出，我们只需要直接找出kruskal的最小生成树，然后找出树中最大的边即可。（2）至于为什么评分这么低，可以通过代码的评分细则可以知道，都是因为超时惹的祸，代码做出来以后系统的...
2019-03-07 16:55:30
202
原创 ccf考试201809_2之买菜
问题描述 小H和小W来到了一条街上，两人分开买菜，他们买菜的过程可以描述为，去店里买一些菜然后去旁边的一个广场把菜装上车，两人都要买n种菜，所以也都要装n次车。具体的，对于小H来说有n个不相交的时间段[a1,b1],[a2,b2]…[an,bn]在装车，对于小W来说有n个不相交的时间段[c1,d1],[c2,d2]…[cn,dn]在装车。其中，一个时间段[s, t]表示的是从时刻s到时刻t这段...
2019-03-07 14:46:46
342
原创 ccf考试201809_1之卖菜
问题描述 在一条街上有n个卖菜的商店，按1至n的顺序排成一排，这些商店都卖一种蔬菜。 第一天，每个商店都自己定了一个价格。店主们希望自己的菜价和其他商店的一致，第二天，每一家商店都会根据他自己和相邻商店的价格调整自己的价格。具体的，每家商店都会将第二天的菜价设置为自己和相邻商店第一天菜价的平均值（用去尾法取整）。 注意，编号为1的商店只有一个相邻的商店2，编号为n的商店只有一个相邻的商...
2019-03-07 14:21:10
123
原创 ccf考试201812_3之 CIDR合并
代码评分：60总结：考场中这种代码的工程量很大，需要不断地调试很费时间，不如得一部分分数就放手import java.util.ArrayList;import java.util.List;import java.util.Scanner;public class test2 { public static void main(String[] args) { ...
2019-03-06 14:52:36
803
原创 ccf考试201812_2之小明放学
题目背景 汉东省政法大学附属中学所在的光明区最近实施了名为“智慧光明”的智慧城市项目。具体到交通领域，通过“智慧光明”终端，可以看到光明区所有红绿灯此时此刻的状态。小明的学校也安装了“智慧光明”终端，小明想利用这个终端给出的信息，估算自己放学回到家的时间。问题描述 一次放学的时候，小明已经规划好了自己回家的路线，并且能够预测经过各个路段的时间。同时，小明通过学校里安装的“智慧光明”终端，...
2019-03-06 14:49:26
157
原创 ccf考试201812-1之小明上学
题目背景 小明是汉东省政法大学附属中学的一名学生，他每天都要骑自行车往返于家和学校。为了能尽可能充足地睡眠，他希望能够预计自己上学所需要的时间。他上学需要经过数段道路，相邻两段道路之间设有至多一盏红绿灯。 京州市的红绿灯是这样工作的：每盏红绿灯有红、黄、绿三盏灯和一个能够显示倒计时的显示牌。假设红绿灯被设定为红灯 r 秒，黄灯 y 秒，绿灯 g 秒，那么从 0 时刻起，[0,r) 秒内亮红...
2019-03-06 14:45:15
177
原创 sparkstreaming实时流处理项目（三）
1.产生日志编写一段py脚本模拟数据的产生：#!/usr/bin/env python# -*- coding:utf-8 -*-#@Time : 2019/3/3 21:01#@Author: qianliu#@File : __init__.py.pyimport randomimport randomimport timeurl_paths = [ ...
2019-03-03 21:46:01
592
原创 sparkstreaming实时流处理项目（二）
1.log4j的日志采集到flumelog4j.properties如下，这样可以将控制台的信息输出到flume中：#配置log4j.rootLogger=INFO,stdout,flume#stdoutlog4j.appender.stdout = org.apache.log4j.ConsoleAppenderlog4j.appender.stdout.target = Syst...
2019-03-03 21:30:38
460
原创 sparkstreaming实时流处理项目（一）
1.项目流程2.CentOS上的一些文件目录为/home/hadoop3.环境配置cat ~/.bash_profile# .bash_profile#Get the aliases and functionsif [ -f ~/.bashrc ]; then . ~/.bashrcfi#User specific environment and start...
2019-03-03 16:41:34
1084
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人