- 博客(103)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 park.sql.AnalysisException: path hdfs://* already exists
df.write.format("csv").save("hdfs://s206/user/hive/warehouse/mobike.db/logs/year=2019/month=7/day=5/hour=7/minute=4") df.show()错误代码scala> users.select("name","favorite_color").write.format("...
2019-07-05 22:13:35
1592
原创 Unterminated object at line 1 column 53 path $.date
解析json报错原因：因为我的json中有日期这个字段{“phoneNum”:“138000000000”,“amount”:10,“date”:“2019-07-04T15:55:26.260Z”,“lat”:44,“log”:116.46,“province”:“内蒙古自治区”,“city”:“锡林郭勒盟”,“district”:“锡林浩特市”}{"phoneNum":"13800000...
2019-07-05 17:05:59
8360
1
原创 kafka报错 WARN Session 0x0 for server null, unexpected error, closing socket connection
错误代码：[2019-07-04 07:54:44,520] WARN Session 0x0 for server null, unexpected error, closing socket connection and attempting reconnect (org.apache.zookeeper.ClientCnxn)java.net.ConnectException: Conn...
2019-07-04 23:05:38
12624
2
转载 微信小程序腾讯地图bindregionchange事件导致图标闪烁的解决方法
微信小程序中的腾讯地图，我们讲地图上放置一些图标，如共享单车的位置，如果我们在bindregionchange的函数中写入寻找图标位置的代码，我们启动后，或者移动地图的中心位置后，就会出现图标闪烁的现象，解决这个现象的方法为例如我们写入的bindregionchange函数是： regionchange(e) { var that = this; if(e.type == "en...
2019-07-04 20:30:06
2070
2
原创 【大数据面试】最爱问的HDFS面试（简单又详细，个人整理）
hdfs面试题MapReduce面试题hive面试题kafka面试题hbase面试题spark面试题flume面试题
2019-06-30 15:24:52
3289
1
原创 【大数据面试】最爱问的MapReduce面试（简单又详细，个人整理）
hdfs面试题MapReduce面试题hive面试题kafka面试题hbase面试题spark面试题flume面试题
2019-06-30 15:19:36
5408
1
原创 【大数据面试】最爱问的spark面试（简单又详细，个人整理）
hdfs面试题MapReduce面试题hive面试题kafka面试题hbase面试题spark面试题flume面试题
2019-06-30 15:14:18
2767
原创 【大数据面试】最爱问的hive面试（简单又详细，个人整理）
hdfs面试题MapReduce面试题hive面试题kafka面试题hbase面试题spark面试题flume面试题
2019-06-30 15:03:07
5962
原创 【大数据面试】最爱问的flume面试（简单又详细，个人整理）
hdfs面试题MapReduce面试题hive面试题kafka面试题hbase面试题spark面试题flume面试题
2019-06-30 14:59:09
3394
1
原创 【大数据面试】最爱问的Kafka面试（简单又详细，个人整理）
hdfs面试题MapReduce面试题hive面试题kafka面试题hbase面试题spark面试题flume面试题
2019-06-30 14:56:33
2718
原创 【大数据面试】最爱问的Hbase面试（简单又详细，个人整理）
hdfs面试题MapReduce面试题hive面试题kafka面试题hbase面试题spark面试题flume面试题
2019-06-24 14:06:17
2476
原创 【大数据面试】HDFS读写原理
HDFS写入剖析：发请求：客户端向NameNode发出写文件请求。检查：检查是否已存在文件、检查权限。若通过检查，直接先将操作写入编辑日志（详情见NameNode文件目录），并返回输出流对象。切块：client端按128MB的块切分文件，形成数据队列。返回管线：NameNode挑选一组合适的DataNode（按照默认副本存放策略），称为一个管线。将其返回给客户端。默认副本存放策略：副...
2019-06-19 18:13:46
433
原创 【大数据面试】MapReduce工作过程
参考链接：HTTPS://BLOG.CSDN.NET/QQ_25843323/ARTICLE/DETAILS/80020566HTTPS://ZHUANLAN.ZHIHU.COM/P/62249397HTTPS://BLOG.CSDN.NET/OLD_SIX_LAOBADAOLA/ARTICLE/DETAILS/78368286
2019-06-17 14:08:09
985
转载 Namenode如何保存文件信息Namenode如何查找文件
原文链接过程总览hdfs文件均存放在datanode上，namenode上不会存放文件。当客户上传一个文件后，namenode会先对文件作相应的处理（比如按照block大小进行分割）。这里主要讲述存放的一个整体过程以及如何快速的找到存放的节点位置信息。实现namenode的源码中有一个与文件系统存储和管理有关的关键类FSNameSystem，里面有以下的一些概念：INode: 用来存放文件...
2019-06-16 16:01:09
1869
原创 Secondary Namenode
Namenode的元数据 (目录中的文件)VERSION文件:包含运行hdfs的版本信息，其中重要属性blockpoolID：记录了一个Namenode管理的命名空间中的所有文件。编辑日志：客户端执行写操作，这些事务会记录到其中。映像文件（Fsimage）：包含整个文件系统所有的文件和目录，文件系统元数据的完整永久性检查点。Namenode和Secondary Namenode由于在Na...
2019-06-16 15:29:14
163
原创 在Linux上查看Namenode的元数据
1.进入~目录2.进入hadoop目录3.进入dfs/name/current目录4.进入后即为元数据信息
2019-06-16 14:56:33
1304
原创 springboot整合freemarke FTL stack trace ("~" means nesting-related): - Failed at: #
问题：解决:在application.properties添加spring.freemarker.settings.classic_compatible=true一句即可原因：文件中的这个值为空详解：原文链接关于freemarker的classic_compatible属性网上资料很多的，不过大多数说的不是很全面。这里稍微补充一些。 在freemarker中的空值的...
2019-06-13 16:57:42
39753
4
转载 IDEA使用git提交代码时去掉Code analysis代码分析的提示
原文链接 默认情况下的git提交会出现执行代码分析的提示框实际上提交的前一步有选项可以去掉这个提示把"Perform code analysis" 和 "Check TODO" 复选框前面的勾去掉就好了. ...
2019-06-08 11:47:06
4276
原创 springboot配置启动后自动打开浏览器访问项目
Springboot里面有个ApplicationReadyEvent事件，该事件表示application应该初始化完成，可以准备接收请求。想要在启动后打开浏览器，可以将执行代码放到这个事件当中。/** * @author LaZY(李志一) * @create 2019-06-08 11:30 */@Configurationpublic class IndexConfig{ ...
2019-06-08 11:40:19
9447
转载 Mapper接口通过@Autowired注入，报错
在使用mybatis的代理进行开发时<bean class="org.mybatis.spring.mapper.MapperScannerConfigurer"> <property name="basePackage" value="...
2019-06-05 22:59:24
4985
原创 java.sql.SQLException: The server time zone value 'Öйú±ê׼ʱ¼ä' is unrecognized or represents more
springboot项目mysql运行后遇到问题：java.sql.SQLException: The server time zone value ‘Öйú±ê׼ʱ¼ä’ is unrecognized or represents more than one time zone. You must configure either the server or JDBC driver (v...
2019-06-05 22:51:33
1183
2
转载 java线程池
转载连接 × 必须要理清的Java线程池（原创） <p><b>前言：</b></p><p> 本篇文章主要介绍的是Java（Javaee和Android开发都会涉及...
2019-05-28 18:15:46
162
转载 MR实现MapJoin和ReduceJoin
原文链接 需求订单数据表 order.txt id date pid amount 1001 20150710 P0001 2 1002 20150710 P0001 3 1002 20150710 P0001 3商品信息表 product.txt...
2019-05-17 21:52:04
712
原创 Hive知识点总结
hive是构建在hadoop上的数据仓库框架hive与mysqlmetastore是hive元数据的集中存放地metastore默认使用内嵌的derby数据库作为存储引擎Derby引擎的缺点：一次只能打开一个会话使用Mysql作为外置存储引擎，多用户同时访问hive与传统数据库传统数据库是数据写入数据库时检查数据（写时模式），查询效率高hive在查询时对数据检查（读时模式），...
2019-05-16 22:14:42
321
原创 LeetCode122. 买卖股票的最佳时机 II（动态规划、贪心算法）
题目：贪心算法/*** * 贪心算法：只要第二天的价格比今天高，就第一天买，第二天卖 * @param prices * @return */ public int maxProfix(int[] prices) { if (prices == null || prices.length == 0 || prices.lengt...
2019-05-16 14:28:46
858
转载 'Error:java: 无效的源发行版: 10' 解决方案
转载链接问题描述今天编译java程序时出现Error:java: 无效的源发行版: 10错误主要原因本机的JDK版本与项目的语言级别不同造成的，例如：我本机的JDK版本使用Ctrl+Alt+Shift+s打开Project Structure查看Project Language Level，发现是10解决办法打开Project Structure界面，...
2019-05-16 14:21:30
2898
原创 观察者模式
目标对象的状态改变后，所有观察者的状态随之改变消息发布者public class Client { public static void main(String[] args) { Master master = new Master(); observer o1 = new observer(); observer o2 = new ...
2019-05-14 21:53:27
117
原创 YARN知识点
hadoop的资源管理系统yarn的调度器FIFO调度器将应用放入一个队列中，依次运行缺点：如果先运行大作业，在后面的小作业会一直等待。容量调度器提前准备一个队列保证小作业提交后，就能运行公平调度器作业提交后，集群从正在运行的作业分配出一部分的资源。...
2019-05-14 17:24:17
197
原创 LeetCode53.最大子序和（递归）
题目：代码:public class Solution { int max = Integer.MIN_VALUE; public int maxSubArray(int[] nums) { if(nums == null || nums.length == 0){ return 0; } if(num...
2019-05-14 14:01:27
488
原创 LeetCode9. 回文数
题目：结果：思路：1.小于0，不可能是回文数。2.正数，就计算他的反转数：原数对10取模+之前计算结果 * 10代码：public static boolean isPalindrome(int x){ if(x < 0){ return false; } int converse = 0;//反转数...
2019-05-13 09:07:52
185
原创 elasticsearch Killed
问题启动后迅速报killed如图：解决：修改elasticsearch文件夹bin/elasticsearch#ES_JAVA_OPTS="-Xms8g -Xmx8g" ./bin/elasticsearch后面 添加代码：ES_JAVA_OPTS="-Xms1g -Xmx1g"...
2019-05-07 14:39:56
1612
原创 图的遍历（广度优先遍历、深度优先遍历）
图的数据结构https://blog.csdn.net/weixin_43093501/article/details/89840219广度优先遍历思路准备：队列、set：查重1.将图的起始节点添加到队列中，同时加到set中2.只要队列中有元素，就执行代码3.弹出队列中的元素，并打印，4.将该元素的邻居节点集合全部加入到队列中（重复的不加）代码public static vo...
2019-05-05 13:51:42
299
原创 图的数据结构
图的表示（数组）图的数据结构/*** * 图 */public class Graph { public HashMap<Integer,Node> nodes;//点 public HashSet<Edge> edges;//边 public Graph() { nodes = new HashMap<>(); edges = ne...
2019-05-05 10:16:11
476
原创 spark源码分析
rdd变换：textfile（）加载文件：返回hadoopRDD（创建HadoopRDD之前，先将hadoopConfiguration进行广播）调用map方法，最终返回MapPartitionsRDD详细流程：https://blog.csdn.net/weixin_43093501/article/details/89492421rdd提交：sparkcontext运行作...
2019-04-30 23:06:24
713
原创 LeetCode148.链表排序
题目思路题目要求：O(N*logN)时间复杂度，会很敏感的想到归并排序。接下来要说的就是根据归并排序找到中间点，这个困扰了我，虽然做了很多题，但还是忘记了快慢指针！找到中间点以后就是合并部分，这个就是合并两个链表/数组的问题总体思路还是很清晰，剩下就是代码能力了code易错点：获取到中间点后，在合并的时候，前半部分要去掉中间点之后的部分代码public class Soluti...
2019-04-26 22:30:10
119
原创 MySQL数据库及其优化
名词解释：mysqlD（……BMS）数据库管理系统从数据库存储引擎说起：存储引擎会影响数据库的性能和功能。存储引擎建立在表之上ISAM不支持事务，不能容错，所以（查询）速度飞快MyISAMISAM扩展，5.5版本之前。增加索引、字段管理和一些工具，对于每个表都生成3个文件，所以（查询）速度快。InnoDB支持事务和外建，所以没前两个快。如今的默认引擎。InnoDB将表和索引...
2019-04-25 12:41:46
234
原创 汉诺塔问题递归解法
思路先移动最底层到其上的部分到辅助位置，再移动最底层到要求位置，将辅助位置的移动到最终位置。代码 public static void func(int rest, int down, String from, String help, String to) { if (rest == 1) { System.out.println("move " + down + " fr...
2019-04-25 10:27:53
333
原创 项目安排问题
题目：思路：贪心策略：项目结束时间早的优先，因为选择此项目而耽误的项目淘汰。步骤：按项目结束时间给所有项目排序，执行上述贪心策略代码：public class Code_06_BestArrange { public static class Program { public int start; public int end; public Progra...
2019-04-25 09:47:51
252
原创 flume知识点
分布式日志收集系统sink是单线程的可以使用Avro sink做汇总使用sink组做单点故障和负载均衡channel：可选channel:设置source属性selector.optional = channel1b复用选择器：https://blog.csdn.net/weixin_43093501/article/details/89501497agent：是一个...
2019-04-24 19:50:47
227
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人