- 博客(36)
- 收藏
- 关注
RSS订阅原创 Block pool ＜registering＞ (Datanode Uuid unassigned) service to hadoop102/192.168.**.**:8020 starting
使用不同账号的云服务器搭建hadoop集群，data目录下的dfs目录为空，没有current文件
2023-02-28 11:01:39
307
原创 Maxwell工作流程详解
往主节点mysql的数据库中写入数据，产生数据变化，主节点的binlog二进制日志文件监控到数据变化，就会记录下数据的变更记录
2023-02-14 16:40:34
575
原创 kafka无法启动，生成hs_err_pid****.log日志
kafka启动失败，出现hs_err_pid10266.log之类的日志，前往bin目录，修改启动脚本的参数
2023-02-13 21:08:53
345
原创 尚硅谷电商数仓5.0（华为云服务器）主机初期基本配置
如果需要三台服务器搭建集群实现互相通信（双向ping通，免密登录等），一定要购买同一个地区的服务器，如果同时还是不同的账号下的服务器，那一定要做两个账号之间的对等连接，对等连接的步骤官方有操作文档，如果看不懂，可以建立工单，让华为云工程师开启远程会议手把手教你做，我就不介绍具体步骤了。如果是不同地区的服务器，想要服务期间互相通信，会很复杂，需要另外购买vpc，相当贵，所以如果要搭建集群，在购买服务器的时候一定要选择同一个地区（北京的服务器口碑最好，最稳定）修改主机名：(注意修改完毕后要重启服务器）
2023-02-09 21:54:34
775
原创 Spark移动互联网大数据分析——纯累加器实现
对app字段访问次数进行统计，统计日活跃用户数和月活跃用户数，统计不同应用上下行总流量，就三个简单的需求，不用累加器的话实现起来非常容易，但是为了熟悉累加器，特意手写累加器实现这三个需求来练练手...
2022-06-08 15:39:42
142
原创 Spark农产品分析
一、农产品市场分析a) 统计每个省份的农产品市场总数b) 统计数据中缺失农产品市场的省份有哪些c) 根据农产品种类数量，统计每个省份排名前3名的农产品市场
2022-06-04 09:29:07
724
1
原创 Spark通过读取配置文件连接数据库 java.lang.NullPointerException报错
先说答案：新版的IDEA要将配置文件放入resources目录下运行前确保已经打开了虚拟机连上了数据库运行结果：-----------------------------------分割线--------------------------------------用jdbc连接MySql数据库通常是这样写的 val conn: Connection = DriverManager.getConnection( "jdbc:mysql://node01:3306/product?
2022-05-31 10:26:56
487
原创 Spark笔记
文章目录flatMapglomgroupbydistinctsortBy双Value类型(Key - Value类型)reduceByKeygroupByKeyflatMap // TODO 算子 - flatMapval rdd = sc.makeRDD(List(List(1,2),3,List(4,5))) val flatRDD = rdd.flatMap( data => { data match {
2022-05-27 01:07:31
117
原创 送给有缘人
实验1-Python体验#coding=utf-8#请在此处添加代码完成输出“Hello Python”,注意要区分大小写！###### Begin ######print("Hello Python")###### End #######coding=utf-8#请在此处补充代码，按要求完成输出###### Begin ######name=input("请输入一个人的名字：")country = input("请输入一个国家的名字：")print("世界那么大，"+name+
2022-04-27 20:42:14
3613
1
原创 如何在pycharm中配置MongoDB
1.在官网下载mongo plugin地址:官网mongo plugin下载地址可以先直接下载到桌面，注意下载完毕后一定不要解压！！！2.将下载好的文件右键->剪切3.C:\Users\你自己的账号名\AppData\Roaming\JetBrains\PyCharmCE2021.2\workspace（如果找不到AppData，自行百度）将剪切的zip文件粘贴在这里4.进入pycharm,File->Settings->Plugins然后再次进入刚才存放mongo4
2022-04-25 14:25:19
5105
3
转载 机器学习题目
文章转载于https://www.cnblogs.com/hhxxlx/p/14907210.html01—概述1.scikit-learn 是目前编程最常用的机器学习库。2.通过 降维 把数据维度降低为2维或者3维，可以实现数据的可视化。3.教材推荐采用 Anaconda 包管理工具来构建机器学习开发环境。4.对回归问题，标签通常是 连续 型的。5.我们教材将机器学习系统构建分为了4个阶段，分别是 预处理 , 学习 , 评估 , 预测 。6.监督学习的训练数据由样本特征和标签 组成。7
2021-11-28 18:59:33
5671
原创 office被wps捆绑，wps删不干净，word等文件打开始终默认为wps怎么办
WPS真是流氓软件，太恶心了，一旦下载全部接管，我在下载wps时已经非常小心了，毕竟它的流氓早有耳闻，然而最终我还是输了。。。wps删除后，往往都会存在删不干净的情况，每次打开word、ppt之类的文件总是默认依旧为wps，但是wps文件已经删掉了，根本打不开，还得多费一步用office打开，如图非常恶心人，在网上查了很多资料一直无法解决，这里提供给一个简单的方法1.随意选择一个office文件,右键，点击打开方式，点击“选择其他应用”（比如我打开的是ppt文件，之后就把打开方式改为PowerP
2021-08-10 20:49:21
13078
1
原创 素数环圈——回溯法
任务描述本关任务：把从 1 到 n 这 n 个数摆成一个环，要求相邻的两个数的和是一个素数。测试输入：20预期输出：围成的圈是:1 2 3 4 7 6 5 8 9 10 13 16 15 14 17 20 11 12 19 18#include<stdio.h>#include<math.h>int a[40] = { 0,1 }, n, isPrime[40], vis[40] = { 0,1 }, flag = 0;void dfs(int x, in
2021-06-11 17:09:33
3132
原创 n位逐位整除数——回溯法
任务描述本关任务：掌握回溯法算法思想，并能利用回溯法算法思想解决n位逐位整除数问题。n位逐位整除数（简称整除数）：从其高位开始，高1位能被整数1整除（显然），高2位能被整数2整除，…，整个n位能被整数n整除。给定整数n，求所有的n位整除数的个数。例如，整数102450就是一个6位整除数。测试输入：6预期输出：1200参考讲解,salute！#include <iostream>#include <algorithm>#include <cstdio
2021-06-05 09:31:31
2976
原创 最小生成树——Prim算法
#include<stdio.h>#include<string.h>#define maxint 100#define INF 0x3f3f3f3f int c[10][10], n, m, minLength = 0;void prim() { int i, j, k; int closestPoint[maxint]; int lowcost[maxint]; bool s[maxint]; s[1] = true; for (i = 2;
2021-05-28 15:27:36
103
原创 TSP旅行商问题——回溯法
任务描述输入格式第一行输入n，代表有n个城市。接下来n行每行输入n个数，第i行j列的值代表i市到j市的距离，0代表城市之间不通注意：起点和终点都为1n<7,城市之间的距离都不超过100输出格式第一行输出最少的旅行费用第二行输入旅行路径（保证只有一条最短旅行路径）Sample Input40 30 6 430 0 5 106 5 0 204 10 20 0Sample Output251 3 2 4 1#include<stdio.h>#de
2021-05-23 14:44:08
1239
原创 N皇后问题——回溯法-递归与非递归
任务描述在N*N的方格棋盘放置了N个皇后，使得它们不相互攻击（即任意2个皇后不允许处在同一排，同一列，也不允许处在与棋盘边框成45角的斜线上。你的任务是，对于给定的N，求出有多少种合法的放置方法。输入格式共有若干行，每行一个正整数N≤10，表示棋盘和皇后的数量；如果N=0，表示结束。输出格式共有若干行，每行一个正整数，表示对应输入行的皇后的不同放置数量。Sample Input1850Sample Output19210#include<stdio.h>
2021-05-22 17:41:45
2211
原创 子集和问题——回溯法
任务描述设集合S={x1,x2,…,xn}是一个正整数集合，c是一个正整数，子集和问题判定是否存在S的一个子集S1，使S1中的元素之和为c。试设计一个解子集和问题的回溯法输入格式输入数据第1行有2个正整数n和c，n表示S的大小，c是子集和的目标值接下来的1行中，有n个正整数，表示集合S中的元素n<10,c<100输出格式输出所有满足条件的集合，当问题无解时，输出“No Solution!”。注意：末尾不输出多余空格按照输入顺序输出，比如第一个满足条件的子集合是[2 2 6]，那
2021-05-22 10:50:35
5076
2
原创 排列——回溯法
任务描述1.设计算法从前m个大写字母(m≤26)种取出n个字母的所有排列（组合），并编程实现输入格式输入M N1<=M=26, N<=M输出格式按字典序输出排列注意：行末不输出多余空格Sample Input4 2Sample OutputA BA CA DB AB CB DC AC BC DD AD BD C#include<stdio.h>#include<string.h>int n, m, pp = 1;
2021-05-22 08:50:22
340
原创 滑雪
输入5 51 2 3 4 516 17 18 19 615 24 25 20 714 23 22 21 813 12 11 10 9输出25原题链接：P1434 [SHOI2002]滑雪采用记忆化搜索以下是C代码#include <stdio.h>#include<stdlib.h>#include<math.h>int dx[4] = { 0,0,1,-1 };int dy[4] = { 1,-1,0,0 };int n, m.
2021-04-12 00:07:38
72
原创 数字金字塔—动态规划
思路：使用动态规划自底向上运算状态转换方程：f[i][j] = max{ f[i+1][j], f[i+1][j+1] } + a[i][j]如果题目数据中金字塔的行数太多，可以使用register，提高读写速度，也就是代码里注释掉的部分输入573 88 1 02 7 4 44 5 2 6 5输出30以下是C代码#include <stdio.h>#include<stdlib.h>#include<math.h>//#includ
2021-04-11 11:27:21
448
原创 矩阵相乘问题
首先要明白基础的线代知识：两个矩阵相乘之后得到的矩阵的行为前面一个矩阵的行，列为后面一个矩阵的列，复杂度与第一个矩阵的列也有关例如：一个pq的矩阵A和一个qr的矩阵B的乘积是一个新的p*r的矩阵C输入630 3535 1515 55 1010 2020 25输出15125...
2021-04-10 23:51:32
227
原创 背包问题
0-1背包参考讲解：0-1背包讲解1和0-1背包问题讲解2状态转换方程：dp[i][j] = max{ dp[i-1][j], dp[i-1][j-w[i]] + v[i] }输入4 82 33 44 55 6输出10下面是C代码#include<stdio.h>int n, w;int W[100] = { 0 };int V[100] = { 0 };int dp[100][100];int max(int a, int b){ return
2021-04-10 15:46:39
89
原创 最大子段和问题
方法一：暴力求解， 时间复杂度O(n^2)#include <stdio.h>#include <math.h>#include <stdlib.h>#define maxlenth 101int maxSubseqSum(int a[], int n) { int maxsum = 0, temsum; for (int i = 1; i <= n; i++)//子序列起始位置 { temsum = 0; for (int j = i;
2021-04-10 11:08:50
197
原创 最长递增子序列
任务描述给定一个序列，求这个序列的最长上升子序列的长度，并输出这个最长上升子序列，题目保证，最长上升子序列只有一个。相关知识最长上升子序列输入格式第一行输入一个n，代表序列长度第二行输入n个值，代表这个序列0<n<1000-1000<序列内的数<1000输出格式第一行输出一个数，代表最长上升子序列的长度。第二行打印这个子序列。输入85 2 8 6 3 6 5 7输出42 3 6 7#include <stdio.h>#incl
2021-04-09 22:33:17
69
原创 用SQL语句建立第2章习题6中的4个表；针对建立的4个表用SQL完成第2章习题6的查询
首先创建表，然后插入数据，再用sql语句进行相关问题的查询/*创建四个表*/create table S( sno char(2) unique, sname char(6), status char(2), city char(4),);create table P( pno char(2) unique, pname char(6), color char(2), weight int,);create table J( jno char(2), jname cha
2021-04-05 11:07:03
8394
2
原创 排队接水
排队接水这题主要是想介绍a[i] = x*1001 + i这种巧妙的存储数据的方式既能保存数据本身，又能保存数据的位置，很巧妙，有些地方应该会大有用处#include <bits/stdc++.h>using namespace std;int main(){ int n, x, a[1000005]; cin>>n; for(int i = 1; i <= n; i++){ cin>>x; a[i] = x*1001 + i;//既能保存
2021-03-13 09:08:46
61
转载 路标设置
题目背景B市和T市之间有一条长长的高速公路，这条公路的某些地方设有路标，但是大家都感觉路标设得太少了，相邻两个路标之间往往隔着相当长的一段距离。为了便于研究这个问题，我们把公路上相邻路标的最大距离定义为该公路的“空旷指数”。题目描述现在政府决定在公路上增设一些路标，使得公路的“空旷指数”最小。他们请求你设计一个程序计算能达到的最小值是多少。请注意，公路的起点和终点保证已设有路标，公路的长度为整数，并且原有路标和新设路标都必须距起点整数个单位距离。输入格式第1行包括三个数L、N、K，分别表示公路的长
2021-03-12 22:40:49
277
原创 跳石头
题目链接第一步，先定一个mid,作为是否移走石头的标准第二步，如果前方的石头a[i]距离我的位置a[now]小于mid，就记下一个石头，但移走石头后我的位置是不变的，变的是我能看到的第一块石头的位置。当我前方能看到的第一块石头（移走后或者没移走后）距离我的位置a[now]大于mid时， 我才会从now变到i位置（即我能看到的第一块石头的位置）。第三步，判断最终移走的石头是否多了，如果多了， 就把mid调小一点，否则就调大一点在这里插入代码片#include<bits/stdc++.h>
2021-03-12 13:07:22
63
原创 P1873 砍树
伐木工人米尔科需要砍倒M米长的木材。这是一个对米尔科来说很容易的工作，因为他有一个漂亮的新伐木机，可以像野火一样砍倒森林。不过，米尔科只被允许砍倒单行树木。米尔科的伐木机工作过程如下：米尔科设置一个高度参数H（米），伐木机升起一个巨大的锯片到高度H，并锯掉所有的树比H高的部分（当然，树木不高于H米的部分保持不变）。米尔科就行到树木被锯下的部分。例如，如果一行树的高度分别为20，15，10和17，米尔科把锯片升到15米的高度，切割后树木剩下的高度将是15，15，10和15，而米尔科将从第1棵树得到5米，从
2021-03-11 22:46:28
94
原创 烦恼的高考志愿--lower_bound解法
##烦恼的高考志愿输入4 3513 598 567 689500 600 550输出32首先需要理解lower_bound的用法，参考lower_bound和upper_bound用法#include<bits/stdc++.h>using namespace std;int a[1000005], b[1000005];int main(){ int m, n, sum = 0; cin>>m>>n; a[0] = -1000000
2021-03-10 13:14:50
317
3
原创 A-B数对
A-Bfor(int i = 1; i <= n; i++){ cin>>a[i]; m[a[i]]++;}if(c > 0) for(int i = 1; i <= n + c; i++) sum += m[a[i]] * m[a[i+c]];else for(int i = 1; i <= n; i++) sum += m[a[i]];
2021-03-09 18:24:46
897
原创 lower_bound和upper_bound 用法
lower_bound和upper_bound 用法只适用于一串递增序列lower_bound(迭代器_1, 迭代器_2, x)：返回指向a中第一个 【大于等于】 x的元素的迭代器upper_bound(迭代器_1, 迭代器_2, x)：返回指向a中第一个 【大于】 x的元素的迭代器举例：int a[] = {1, 1, 2, 2, 2, 2, 3, 3, 3, 4, 4, 4};cout << (lower_bound(a, a + 12, 4) - a) << end
2021-03-08 22:07:55
186
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人