- 博客(14)
- 收藏
- 关注
RSS订阅原创 对RDD的分区与Task任务之间关系的理解
文件存储在HDFS上，每个File都包含了很多块，称为Block。当Spark读取这些文件作为输入时，会根据具体数据格式对应的InputFormat进行解析，一般是将若干个Block合并成一个输入分片，称为InputSplit，注意InputSplit不能跨越文件。随后将为这些输入分片生成具体的Task。InputSplit与Task是一一对应的关系。随后这些具体的Task每个都会被分配到集群上的某个节点的某个Executor去执行。1)每个节点可以起一个或多个Executor。2)每个Executo
2021-04-14 21:39:57
793
原创 Linux ftp命令
内容引用于其他博客：链接：https://www.cnblogs.com/mingforyou/p/4103022.html一、ftp的get命令和mget命令有何不同？get一次只下载一个文件；mget一次可以下载多个文件，而且支持通配符，需要注意的是在mget的时侯，需要对每一个文件都选择y/n，如果想不交互的下载全部的文件，可以先用prompt命令关掉交互方式（关闭：prompt off；打开：prompt on）。二、FTP使用什么命令来定位服务器与本地硬盘的路径？ftp中用lcd切换本地
2020-11-16 10:38:42
288
原创 spark中将数据写进mysql数据库的方式
我这里采用了两种方式：第一种：java的jdbc第二种：scalikejdbc我都在代码中使用了，做了详细的解释原始文件数据在前两篇的博客中：spark中将数据写进json文件里可以看到，需求也能看到import java.utilimport java.util.Propertiesimport bean.BaobiaoSchemaimport com.google.gson...
2019-11-16 10:56:11
499
原创 spark中的scalikejdbc的使用
加载配置文件内容的自定义的类，如下所示：import com.typesafe.config.{Config, ConfigFactory}object ConfigHelp { //加载配置文件 private val config: Config = ConfigFactory.load() //加载jdbc的配置 val url: String= config.getS...
2019-11-15 23:24:17
625
1
原创 spark中将数据输出到json文件的两种方式
在学习spark时，我们经常遇到要将数据写进一个json文件中的案例。通常的案例就是，给我们一个普通文件，然后我们用sparkcore或者sparkSQL，遍历文件内容后，按照需求将再将遍历后得到的数据写入json文件中。这里，我主要使用两种方法：方式一：通过dataframe.write.json()方式二：使用gson初始的文件部分内容大概如下所示：300T|3001003|C204...
2019-11-15 20:36:43
5465
原创 关于Calendar日历类的使用
import java.text.DateFormat;import java.text.SimpleDateFormat;import java.util.Calendar;import java.util.Date;public class Demo1 { public static void main(String[] args) { //因为Calendar类是抽象类，无法...
2019-11-14 18:47:32
182
原创 输入日期，查看是该年的第几天
代码如下：/* * 分析以下需求，并用代码实现： (1)通过键盘录入日期字符串，格式(2015-10-20) (2)输出该日期是星期几及这一年的第几天 (3)如输入：2015-10-20，输出"2015年-10月-20日 是 星期二，是 2015年的第 293 天" * */import java.text.DateFormat;import java.text.ParseEx...
2019-11-14 18:45:08
324
原创 关于SimpleDateformat的使用
关于SimpleDateformat的使用：package dateFormat;import java.text.DateFormat;import java.text.ParseException;import java.text.SimpleDateFormat;import java.util.Date;public class Demo1 { public static...
2019-11-14 17:38:47
97
原创 flume使用taildir，监控多个文件夹下的多个文件
在flume1.6及之前，要监控多个目录下的多个文件，可以使用Filelistener，在flume1.7之后，增加了TAILDIR，主要是监控文件的变化下面介绍taildir的使用：第一步：在flume中创建conf配置文件，我的是创建在：flume下的job文件夹中，job文件夹是我自定义的用来存放conf配置文件的：/opt/module/flume/job/flume-mysourc...
2019-11-13 21:17:14
3185
原创 flume自定义source，且kafka代替channel，实现flume往kafka传递数据
在使用flume收集数据时，有时候需要我们自定义source，而官方给的案例，有时也不能满足我们的需要，下面的案例是仿照源码的架构编写的。下面的案例是：自定义source，用kafka代替channel，因为我们的目标就是，通过flume将数据采集到kafka，这样省去了从channel到sink的过程，提升了效率，而自定义source是为了防止重复传递数据。在代码中我做了详细的解释：pac...
2019-11-13 19:05:21
674
原创 shell编程中函数的return返回值和接收
shell编程中函数的return返回值和接收代码：首先要明白的是：函数return回来的值，只能通过$?系统变量获得其次要明白的是：必须在调用函数地方之前，先声明函数，shell脚本是逐行运行，不会像其他语言一样先编译运行结果：...
2019-10-10 22:10:25
1372
原创 使用shell编写九九乘法表
使用shell编写九九乘法表for循环：首先要知道的是：echo “” 换行echo -n 内容：表示输出结果后不换行echo -e 内容：表示支持反斜线控制的字符转换内容里的 \t 表示一个制表符代码如下：结果如下：...
2019-10-10 19:56:10
1767
原创 在springMVC中的web.xml中的配置：/ 和 /* 以及 *.do的区别
在springMVC中的web.xml中的配置：/ 和 /* 以及 *.do的区别在浏览器上输入：locahost：8080/index.html：代表访问.html结尾的文件locahost：8080/hello.jsp：代表访问.jsp结尾的文件locahost：8080/hello.do：代表访问我们自己写的HelloController类先来说下配置后得到的不同结果：其中...
2019-09-08 19:34:05
2185
1
原创 一个spring中的事务管理的转账练习
一个spring中的事务管理练习：转账dao层中的代码：接口：IUserDaoimport com.ujiuye.bean.User;import java.util.List;/** * Created by Administrator on 2019/9/5. */public interface IuserDao { void save(User user);...
2019-09-06 00:13:12
192
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人