- 博客(14)
- 资源 (7)
- 收藏
- 关注
RSS订阅
1原创 Spark的数据存储目录HDFS
Spark主要在内存中运算，最终的运算结果可以通过Hive存入到Mysql（MariaDB）和HDFS系统的。 1.spark和Hive集成，2.通过Spark来建表，和插入数据，3.在DB和DHFS中查看插入的数据。一、项目环境 Linux:centos7 JDK: java version 1.8 Python：3.8 Spark：spark-3.2.1 Hadoop：2.7.3 Hive:2.1.1 MariaDB:5.5.64...
2022-05-22 22:21:18
2149
原创 IDEA2020中PySpark的两表关联（字段名相同）
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言 一、pandas是什么？ 二、使用步骤 1.引入库 2.读入数据 总结前言提示：这里可以添加本文要记录的大概内容： 使用GROUPLENS的电影评价的大数据集，Windows中IDEA2020环境中SPARK做两表关联测试学习。 个人用户学习大数据，一般会搭建的基于Linux虚拟机的HDFS集群。而SPARK主要运行在内存中，若在虚拟机的内存中运行没有...
2022-05-15 17:51:41
1325
原创 IDEA2020中测试PySpark的运行出错
IDEA中测试PySpark py4j.protocol.Py4JJavaError: An error occurred while calling z Cannot run program "python3": CreateProcess error=2, 系统找不到指定的文件。
2022-04-03 13:33:52
2491
原创 图解Kubernetes中的etcd的访问
目录文章目录前言一、etcd是什么？二、使用步骤1.在k8s查看安装好的etcd2.进入k8s的etcd3.指定etcd的版本34.查看集群所有节点（etcdctl member list）5.写入测试数据（etcdctl put /testdir/testkey "Hello world1"）6.读出测试数据（etcdctl get /testdir/testkey）总结文章目录前言 一、pandas是什么？ 二、使用步骤.
2022-01-23 15:32:58
1991
原创 Docker中微服务的消费者访问提供者的错误 Connection refused
错误概述：微服务的eureka，provider，consumer服务在Windows的IDEA中都能正常运行。部署进入Centos7的Docker后，eureka，provider服务运行正常，consumer服务总是报Connection refused的如下错误，2021-09-15 14:41:51.526 ERROR 1 --- [p-nio-exec-4] o.a.c.c.C.[.[.[/].[dispatcherServlet] : Servlet.service() .
2021-09-21 17:36:34
1343
原创 docker version的Server启动异常的解决方法
Centos7.7上安装Docker后，因为不是root用户，docker 的Server启动异常异常信息docker versionClient: Docker Engine - CommunityVersion: 20.10.8API version: 1.41Go version: go1.16.6Git commit: 3967b7dBuilt: Fri Jul 30 19:55:49 2...
2021-08-16 20:03:02
1702
原创 python的turtle绘制科赫曲线
科赫曲线是一种像雪花的几何曲线科赫曲线是一种分形。其形态似雪花，又称科赫雪花、雪花曲线。 1.给定线段AB，科赫曲线可以由以下步骤生成： 2.将线段分成三等份（AC,CD,DB） 3.以CD为底，向外（内外随意）画一个等边三角形DMC 4.将线段CD移去, 分别对AC,CM,MD,DB重复1~3。import turtle#科赫曲线(size 科赫曲线的每一个直线的长度，n 绘制的阶数)def koch(size,n): if n==0:#递归出口画一条一...
2021-05-16 17:14:39
2560
原创 Spring Boot 与 Spring Cloud的关系图
1.SpringBoot是SpringCloud的子项目，2.SpringCloud本身是SpringBoot一个项目，3.SpringCloud可以是多个SpringBoot项目的集合。
2020-11-07 19:51:41
418
原创 VUE A页面按下不同按钮，跳到下一B页面 ，B页面显示不同的按钮
概要：1.在PageA页面中按下【测试1】，跳的PageB画面，PageB画面中显示按钮【测试1】。2.在PageA页面中按下【测试2】，跳的PageB画面，PageB画面中显示按钮【测试2】。目标：VUE中使用v-if来控制控件（按钮）的表示与非表示的画面。1. index.jsvuetest\src\router\index.jsimport Vue from 'vue'import Router from 'vue-router'im...
2020-10-24 19:16:59
635
原创 Hbase VS ElasticSearch
从关系数据库的视角观察ElasticSearch和Hbase的读写，若ElasticSearch是AK47，那Hbase就是马克沁。运行环境：同一台笔记本电脑，虚拟的3节点的Centos7 环境数据：一百万条数据的高表测试。（电脑弱，就做个试验）结论：全件写入：Hbase快全件遍历：ES快单行读出：都在0.5秒内详细：一、Hbase1.用Python操作Hbase2.Python写入100万行耗时，37分 3...
2020-08-29 09:51:44
933
原创 Python读出Hbase的表中一个字段(happybase)
Python读出Hbase的表中一个字段(happybase)1.引入库代码如下（示例）：import happybase2.Hbase的表t11中数据3.读入数据代码如下（示例）：import happybaseconnection = happybase.Connection('192.168.113.201', port=9090)connection.open()table = connection.table('t11...
2020-08-22 18:49:45
506
029070-99999-1901.txt
2020-01-30
java开发环境配置文档
2009-02-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人