- 博客(11)
- 收藏
- 关注
原创 关于Hadoop的一些使用心得
关于HDFS使用的一些心得写在前面: 在公司做大数据方面工作也有一段时间了,抽时间整理一下遇到的问题,和一些比较好的优化手段。1.HDFS存储多目录1.1生产服务器磁盘情况1.2在hdfs-site.xml文件中配置多目录,注意新挂载磁盘的访问权限问题。 HDFS的DataNode节点保存数据的路径由dfs.datanode.data.dir参数决定,其默认值file://${hadoop.tmp.dir}/dfs/data,若服务器有多个磁盘,必须对该参数进行修改。按照上图
2021-06-22 15:01:04 1335
原创 将text文件转换为字符串
在处理一段字符串的时候,发现字符串很长,不太好处理,所以找了一段处理文本文件转换为字符串的代码。 public static String readFileContent(String fileName) { File file = new File(fileName); BufferedReader reader = null; StringBuffer sbf = new StringBuffer(); try {
2021-06-15 17:13:43 2273
原创 Error:scalac: Error: scala.collection.immutable.$colon$colon.tl$1()Lscala/collection/immutable/List;
第一次使用flink,scala使用的是2.11.12版本,但是我本地的scala是2.11.8,就报了上述的错误,去网上看了很多帖子,说的都比较笼统。下面是我的一些方法。1.去官网下载一份2.11.12的压缩包网址如下https://www.scala-lang.org/download/2.11.12.html2.将其解压缩到一份无中文的文件夹内3.在idea中找到4.进去之后通过+号和减号进行增加和删除sdk文件5.点击+号6.点击browse之后选择之前解压缩的文件,然后
2020-09-09 15:25:57 2609
原创 Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO
hadoop在本地执行MapReduce出现了如下相关异常该如何做?1.Exception in thread “main” java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z at org.apache.hadoop.io.na...
2020-04-15 09:06:09 1854 4
原创 小白也会搭的hadoop集群
搭建hadoop集群(版本:3.13)前言:最近在学习大数据的知识,hadoop集群作为大数据入门知识,一定要非常熟系,现在我将我自己搭建hadoop集群的步骤以及遇到的问题进行一个汇总。做到一个温故知新的作用。文章目录搭建hadoop集群(版本:3.13)一、准备一台安装Linux系统的虚拟机1. 配置虚拟机环境1.1 配置yum源1.2 安装辅助工具1.3设置静态ip1.4 修改主机名1....
2020-04-12 13:16:57 157
原创 Collection和Map主要实现类
day23笔记一、作业练习1:• 键盘录入学生信息,保存到集合中。o 循环录入的方式,1:表示继续录入,0:表示结束录入。o 定义学生类,属性为姓名,年龄,使用学生对象保存录入数据。o 使用ArrayList集合,保存学生对象,录入结束后,用foreach遍历集合。• 代码实现,效果如图所示:public class StudentTest { public stat...
2020-03-16 19:47:32 346
原创 常用的时间类和实现Comparable接口
Day21笔记文章目录Day21笔记一,自然排序和定制排序的区别1.实现Comparable接口2.实现Comparator接口3.Comparable和Comparator的区别所在二,JDK8之前的日期时间的API1.System下的currentTimeMillies()2.两个Date()类3.SimpleDateFormat类4.Calendar类三,String,StringBuli...
2020-03-13 22:58:55 982 1
原创 开发人员调度小项目
day18授课笔记一、复习枚举类以后大家在项目中,需要定义一组常量时,建议使用枚举类!两种定义方式:① 自定义方式 ② 使用enum关键字定义(jdk5.0)使用enum关键字定义的枚举类默认继承于java.lang.Enum类常用方法:toString()、values()、valueOf(String name)枚举类各个对象实现接口中的方法注解(annot...
2020-03-13 09:59:30 514 4
原创 枚举类与注解
day17授课笔记一、作业代码阅读题:public class ReturnExceptionDemo { static void methodA() { try { System.out.println("进入方法A"); throw new RuntimeException("制造异常"); } finally { System.out.println("用...
2020-03-13 09:41:28 189
原创 多线程创建以及解决数据同步问题
Day19笔记今日重点:1.掌握线程的两种创建方式及其区别2.掌握解决线程安全的同步代码块及同步方法3.掌握线程的常用方法4.理解线程的生命周期5.理解线程安全问题的产生原因及其解决方法一,复习1.程序,进程与线程的区别程序:是为完成特定任务,用某种语言编写的一组指令的集合。即指一段静态的代码,静态对象进程:是程序的一次执行过程,或是正在运行的一个程序。是一个动态的过程:有...
2020-03-13 09:28:02 510
原创 多线程
Day20笔记学员:万玉坤今日重点:(1)掌握创建多线程的4种方式(2)掌握线程通信中的方法(3)完成生产者消费者的案例(4)掌握String的定义,特性和常用方法(5)理解String实例化时,内存结构的变化(6)知晓什么是死锁,死锁产生的原因和解决办法(7)知晓如何保证单例模式中的懒汉式的线程安全,要求掌握代码编写一,复习进程与线程的区别并发与并行传统创建线程的两...
2020-03-13 09:22:39 128
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人