- 博客(14)
- 资源 (7)
- 收藏
- 关注
原创 Spark的数据存储目录HDFS
Spark主要在内存中运算,最终的运算结果可以通过Hive存入到Mysql(MariaDB)和HDFS系统的。 1.spark和Hive集成,2.通过Spark来建表,和插入数据,3.在DB和DHFS中查看插入的数据。一、项目环境 Linux:centos7 JDK: java version 1.8 Python:3.8 Spark:spark-3.2.1 Hadoop:2.7.3 Hive:2.1.1 MariaDB:5.5.64...
2022-05-22 22:21:18 2152
原创 IDEA2020中PySpark的两表关联(字段名相同)
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录前言 一、pandas是什么? 二、使用步骤 1.引入库 2.读入数据 总结前言提示:这里可以添加本文要记录的大概内容: 使用GROUPLENS的电影评价的大数据集,Windows中IDEA2020环境中SPARK做两表关联测试学习。 个人用户学习大数据,一般会搭建的基于Linux虚拟机的HDFS集群。而SPARK主要运行在内存中,若在虚拟机的内存中运行没有...
2022-05-15 17:51:41 1335
原创 IDEA2020中测试PySpark的运行出错
IDEA中测试PySpark py4j.protocol.Py4JJavaError: An error occurred while calling z Cannot run program "python3": CreateProcess error=2, 系统找不到指定的文件。
2022-04-03 13:33:52 2498
原创 图解Kubernetes中的etcd的访问
目录文章目录前言一、etcd是什么?二、使用步骤1.在k8s查看安装好的etcd2.进入k8s的etcd3.指定etcd的版本34.查看集群所有节点(etcdctl member list)5.写入测试数据(etcdctl put /testdir/testkey "Hello world1")6.读出测试数据(etcdctl get /testdir/testkey)总结文章目录前言 一、pandas是什么? 二、使用步骤.
2022-01-23 15:32:58 2015
原创 Docker中微服务的消费者访问提供者的错误 Connection refused
错误概述:微服务的eureka,provider,consumer服务在Windows的IDEA中都能正常运行。部署进入Centos7的Docker后,eureka,provider服务运行正常,consumer服务总是报Connection refused的如下错误,2021-09-15 14:41:51.526 ERROR 1 --- [p-nio-exec-4] o.a.c.c.C.[.[.[/].[dispatcherServlet] : Servlet.service() .
2021-09-21 17:36:34 1350
原创 docker version的Server启动异常的解决方法
Centos7.7上安装Docker后,因为不是root用户,docker 的Server启动异常异常信息docker versionClient: Docker Engine - CommunityVersion: 20.10.8API version: 1.41Go version: go1.16.6Git commit: 3967b7dBuilt: Fri Jul 30 19:55:49 2...
2021-08-16 20:03:02 1713
原创 python的turtle绘制科赫曲线
科赫曲线是一种像雪花的几何曲线科赫曲线是一种分形。其形态似雪花,又称科赫雪花、雪花曲线。 1.给定线段AB,科赫曲线可以由以下步骤生成: 2.将线段分成三等份(AC,CD,DB) 3.以CD为底,向外(内外随意)画一个等边三角形DMC 4.将线段CD移去, 分别对AC,CM,MD,DB重复1~3。import turtle#科赫曲线(size 科赫曲线的每一个直线的长度,n 绘制的阶数)def koch(size,n): if n==0:#递归出口画一条一...
2021-05-16 17:14:39 2571
原创 Spring Boot 与 Spring Cloud的关系图
1.SpringBoot是SpringCloud的子项目,2.SpringCloud本身是SpringBoot一个项目,3.SpringCloud可以是多个SpringBoot项目的集合。
2020-11-07 19:51:41 422
原创 VUE A页面按下不同按钮,跳到下一B页面 ,B页面显示不同的按钮
概要:1.在PageA页面中按下【测试1】,跳的PageB画面,PageB画面中显示按钮【测试1】。2.在PageA页面中按下【测试2】,跳的PageB画面,PageB画面中显示按钮【测试2】。目标:VUE中使用v-if来控制控件(按钮)的表示与非表示的画面。1. index.jsvuetest\src\router\index.jsimport Vue from 'vue'import Router from 'vue-router'im...
2020-10-24 19:16:59 641
原创 Hbase VS ElasticSearch
从关系数据库的视角观察ElasticSearch和Hbase的读写,若ElasticSearch是AK47,那Hbase就是马克沁。运行环境:同一台笔记本电脑,虚拟的3节点的Centos7 环境数据:一百万条数据的高表测试。(电脑弱,就做个试验)结论:全件写入:Hbase快全件遍历:ES快单行读出:都在0.5秒内详细:一、Hbase1.用Python操作Hbase2.Python写入100万行耗时,37分 3...
2020-08-29 09:51:44 939
原创 Python读出Hbase的表中一个字段(happybase)
Python读出Hbase的表中一个字段(happybase)1.引入库代码如下(示例):import happybase2.Hbase的表t11中数据3.读入数据代码如下(示例):import happybaseconnection = happybase.Connection('192.168.113.201', port=9090)connection.open()table = connection.table('t11...
2020-08-22 18:49:45 508
029070-99999-1901.txt
2020-01-30
java开发环境配置文档
2009-02-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人