bmwlwg的博客

TODO

TODO

本文是一篇读书笔记，源自《大数据架构详解》。Part I: 数据获取数据获取组件 网页采集-网络爬虫 日志收集 中间件技术Part II: 流处理流的概念 流引擎-storm 流引擎-spark streaming 流引擎-flinkPart III: 交互式分析交互式分析的概念 MPP DB技术 SQL on Hadoop技术 大数据仓库Part IV: 批处理技术批处理技术的概念 MPP DB技术 MapReduce 编程框架 Spa...

参考文献：1.大数据平台架构设计探究https://mp.weixin.qq.com/s/WlI-nU3hv5NC4_pPC_7jYg

1. 分割字符串t1.KDRQ as issue_date , --- 开单日期 split(t1.KDRQ,'-')[0] as issue_year , --销售——年 split(t1.KDRQ,'-')[1] as issue_month , --销售——月 split(t1.KDRQ,...

工具流程核心点

0. 官网：http://spark.apache.org/docs/latest/api/python/pyspark.sql.html#module-pyspark.sql.functions1. pyspark之Dataframe操作（二）https://blog.csdn.net/hejp_123/article/details/880331332.PySpark︱DataFr...

以下主要以pymysql为例：1. pymysql操作mysql详解https://www.jianshu.com/p/1ba64df4fd152.PyMySQL的基本使用https://www.cnblogs.com/xfxing/p/9322199.html

Part I. 安装软件为了安装Spark，本次安装同时安装了JAVA1.8, Hadoop2.7.7和Spark-2.4.4, 具体如下：Part II. JAVA安装Java 下载地址：https://www.oracle.com/technetwork/java/javase/downloads/index.html2.1 JAVA安装主要是JDK安装。...

注意: MySQLdb不支持py3, 请使用PyMySQL代替之～简单的增删改查操作示例表结构2.1查询操作import pymysql #导入 pymysql#打开数据库连接db= pymysql.connect(host="localhost",user="root", password="123456",db="test",port=330...

Part I: 数据库基本操作1. 数据库登录:mysql -h localhost -u root -p 密码 password2. 创建数据库:基本语句CREATE DATABASE database_name;在创建数据库时指定字符集createdatabaseyourDBCHARACTERSETgbk3. 查看:查看数据库参数设置:...