爱睡觉的小于-CSDN博客

原创 Alink 获取 CSV 文件数据（JAVA）

另外，由于列名不能包含空格，所以由文件第一列转化来的列名需要进行相应处理，这里我们将其写为驼峰形式；并加上数据类型，这里都是。第一行为数据列名的说明，第二行开始是数据，可以看到都是数值类型，各个数之间用分号“;从网络中获取数据和 HDFS 中读取数据，需要将。并且可以设置字段分隔符参数。前端支持用户输入如下转义字符和。文件，并且支持从本地、类型，构成了数据集的。我们可以通过设置参数。

2023-07-04 14:51:45 266

原创 Flume 实时数据监控 3 Source（监控目录） - 3 Sink

Flume 实时监控文件夹

2022-11-13 15:45:14 392 1

原创 Flink 获取 Kafka 中的数据，分流存储到 Redis、MySQL 中

实时存储，处理流数据，小案例。

2022-08-17 14:19:29 4142 3

原创 Flume 从端口获取数据，输出到多端（Kafka、HDFS）单文件

Flume 单文件，单端口输入，多端输出

2022-08-15 17:51:19 1472 2

原创 Vue in ./node_modules/vuex/dist/vuex.esm-bundler.js export ‘inject‘ (imported as ‘inject‘) was

Vue中的错误提示 WARNING Compiled with 3 warnings 下午3:34:08 warning in ./node_modules/vuex/dist/vuex.esm-bundler.jsexport 'inject' (imported as 'in

2022-05-12 15:44:13 1161

函数式编程所谓的函数式编程指定的式方法的参数列表可以接收函数对象例如：add(10,20)就不是函数式编程，add(函数对象) 这种格式就叫做函数式编程我们将来编写Spark/Flink大量业务代码时，都会使用到函数式编程。下面的这些操作式学习的重点函数名功能foreach遍历集合map对集合进行转换flatmap进行扁平化操作filtter过滤出指定的集合sorted对集合元素按照默认排序sortBy按照指定字段排序sort

2022-05-03 20:07:22 1519

原创 HADOOP 2.X安装：

HADOOP 2.X安装：记得安装jdk后再来安装hadoop解压安装包：tar -zxvf hadoop-2.7.1.tar.gz -C /usr/hadoop配置环境变量：vim /etc/profile添加下面的内容：# HADOOP_HOMEexport HADOOP_HOME=/usr/hadoop/hadoop-2.7.1export PATH=$PATH:$HADOOP_HOME/binexport PATH=$PATH:$HADOOP_HOME/sbin:wq

2022-05-02 16:30:32 203

原创 Laravel中的多对多关系

多对对关系多对多的关系比一对一和一对多关系稍微复杂些。如：一个用户可以选择多门课程，一个课程可以被多个用户选择。用户表和课程表之间就是一个多对多的关系；一个用户可以拥有多个角色，一个角色可以被多个用户拥有；多对多的关系需要一个中间关系表来体现，如选课信息表。该表中记录哪个用户选了哪些课程信息。多对多关系的创建语法：多对多的关系不区分正向和反向return $this -> belongsToMany(被关联的模型 , 多对多模型的关系表名 , 中间表与当前模型关联的字段名 , 中间表

2022-04-26 09:41:06 1285

原创问题：在用脚手架搭建vue项目时。提示：vue : 无法加载文件 C:\Users\hp\AppData\Roaming\npm\vue.ps1,因为在此系统禁止运行脚本解决办法

问题：在用脚手架搭建vue项目时。提示：vue : 无法加载文件 C:\Users\hp\AppData\Roaming\npm\vue.ps1,因为在此系统禁止运行脚本解决办法：1、用管理员方式打开Windows PowerShell在PowerShell中输入：set-ExecutionPolicy RemoteSigned选择Y：再去VsCode中创建项目就可以了：...

2022-04-25 09:51:14 1384

原创 Scala中数组的学习

数组1.1 定长数组1.1.1 特点数组的长度不允许改变数组的内容是可变的1.1.2 语法格式一：通过指定长度定义数组val/var 变量名 = new Array[元素类型](数组长度)格式二：通过指定元素定义数组val/var 变量名 = Array(元素1、元素2、元素3....)注意：1. **在scala中，数组的泛型使用[ ]来指定**1. **使用数组名(索引) 来获取数组中的元素**1. **数组元素是有默认值的，数值为：0，字符串为：null**

2022-04-24 21:27:24 336

原创 Laravel Model模型关联

定义关联关系数据库表通常相互关联。例如，一篇博客文章可能有许多评论，或者一个订单对应一个下单用户。Eloquent 让这些关联的管理和使用变得简单，并支持多种类型的关联：常见的为前三种，在此我们也只讲解前三种关联一对一一对多多对多远程一对多远程一对一一对一（多态关联）一对多（多态关联）多对多建立模型关联一对一两个数据表：guest 用户表和guestinfo用户信息其中guest表中的主键id字段对应着guestinfo中的外键user_id字段首先创建两个model文件：

2022-04-24 14:18:52 1254

原创 python 中使用 matplotlib绘制简单图像

导包：# coding=utf-8import numpy as pyfrom matplotlib import pyplot as plt # 导入画图工具import random# 支持中文plt.rcParams['font.sans-serif'] = ['SimHei'] # 用来正常显示中文标签plt.rcParams['axes.unicode_minus'] = False # 用来正常显示负号绘制简单的折线图：图例1根据温度绘制折线图：# 定义数据，日期x

2022-04-22 22:16:28 1002

原创虚拟机常见问题

关闭NetworkManager ：systemctl stop NetworkManager 再重启网络：service network restartubantun安装问题修改默认root密码：sudo passwd （不是password）不要软件更新一些设置关掉，可能会导致无法安装依赖包...

2022-04-21 21:56:26 373

原创在Laravel框架里面使用bootstrap前端框架

需要把bootstrap的css文件和js文件放在public目录下。再通过asset方法定位文件位置： <link rel="stylesheet" href="{{asset('css/bootstrap.css')}}"> <script src="{{asset('/js/jquery-1.12.4.js')}}"></script> <script src="{{asset('/js/bootstrap.js')}}">&l.

2022-04-20 22:05:52 2212

原创 kafka的群起和基本命令

群启zookeeper：bin/zkserver.sh start群起kafka:bin/kafka-server-start.sh -daemon config/server.properties查看数据列表：bin/kafka-topics.sh --list --zookeeper master:2181kafka主题（增删改查）：增加topic：bin/kafka-topics.sh --create --zookeeper slave1:2181 --topic fi..

2022-04-20 21:57:46 1738

原创 Laravel Model 的增删改查

Model类的增删改查：查：use App\Http\Controllers\Controller;use App\Models\Home\Member;class Controllers extends Controller{ //查询记录 public function select(){ // 查询所有记录只有name字段 $data = Member::all(['name']); // 打印查询信息 du

2022-04-19 11:21:24 1867

原创 Laravel 数据库Model学习

注意：对数据的操作时，需要查看自己嗯.env文件里的默认数据库是否跟改为需要操作的目标数据库一、创建model模型文件：php artisan make:model Home/Member创建后的文件会放在app目录下的Models目录下二、model文件关联数据库表：如果需要关联的数据表的名称，不是model文件的复数，比如：model文件：member 表名：（members）、model文件：user 表名：（users）；上面这种情况的话，在model文件内设置关联的表名：protec

2022-04-19 09:28:59 1060

原创 Spark编写遇到的问题：org.apache.spark.SparkException: A master URL must be set in your configuration

22/04/17 09:03:20 ERROR SparkContext: Error initializing SparkContext. org.apache.spark.SparkException: A master URL must be set in your configuration本地模式遇到这个问题的原因：没有设置“local”本地模式。解决办法： // 设置spark运行环境，setMaster（“local”）本地模式，setAppName（“WordCount”）设置任务

2022-04-17 09:12:00 2034

m0_58027884的博客