【Day3.1】G315·U型公路

最新推荐文章于 2024-05-31 14:57:37 发布
最新推荐文章于 2024-05-31 14:57:37 发布
阅读量1.9k 收藏
点赞数
分类专栏： 自由行
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lijf2001/article/details/119117105
版权

G315国道，是东西走向的，从德令哈出发，沿着G315，深入柴达木盆地。
在这里插入图片描述

它在经过柴达木盆地时，顺着地势，高低起伏，形成一个大大的u型，然后就成了网红公路。来这里的游客还挺多的，主要还是私家车，估计是包车的，其次就是我们这样的坐着中巴车的小团，基本上没见到什么大巴车。
在这里插入图片描述
因为是条公路，并不允许随便停车，路政，交警都管的挺严，但这依然不影响游客们，路边依然停满了车，在路上拍照的人也并不少见，或许要是不管，怕不是整条路都会被堵上，毕竟这里才是双向两车道。而且没有任何停车场，没有任何观景台，车都要停在路边，而且不能停的太里面，不然会陷下去。
拍完照，回到车上，坐在副驾驶位置上接着拍，貌似这样的公路也不多，能有这样起伏地方也不多，这里也被称为中国最美公路。
在这里插入图片描述
最后还是需要提醒一句，公路上下车拍照还是比较危险的，一定要注意安全。

目录索引

【tips】青甘大环线收获

Day0

【Day0】去往兰州

Day1

【Day1.1】原子城
【Day1.2】金银滩大草原

Day2

【Day2.1】青海湖沿湖公路骑行
【Day2.2】茶卡盐湖

Day3

【Day3.1】G315·U型公路
【Day3.2】南八仙
【Day3.3】水上雅丹
【Day3.4】东台吉尔湖

Day4

【Day4.1】大柴旦翡翠湖
【Day4.2】石油小镇
【Day4.3】路遇沙尘暴
【Day4.4】敦煌烤全羊
【Day4.5】敦煌党河公园

Day5

【Day5.1】敦煌莫高窟
【Day5.2】敦煌博物馆
【Day5.3】鸣沙山月牙泉看日落

Day6

【Day6.1】天下第一雄关——嘉峪关
【Day6.2】雨中丹霞

Day7

【Day7.1】张掖七彩丹霞看日出
【Day7.2】大坂山八月飞雪
【Day7.3】祁连草原
【Day7.4】西宁益鑫羊肉手抓馆

Day8

【Day8.1】兰州牛肉拉面
【Day8.2】甘肃省博物馆
【Day8.3】黄河第一桥
【Day8.4】黄河索道
【Day8.5】黄河母亲雕像

Note_Logistics_Day16：ClickHouse API 使用
Maynor的博客
06-07 473
ClickHouse提供JDBC方式访问数据库，进行DDL和DML操作。
超详细的 Python 方法、函数总结
热门推荐
棒棒编程修炼场
05-17 5万+
目录阅读前必读（不看会错过一个亿）一、字符串操作1.1 capitalize() 方法——字符串首字母转换为大写1.2 casefold() 方法——所有大写字符转换为小写1.3 center() 方法——字符串居中填充1.4 count() 方法——统计字符串出现次数1.5 encode() 方法——编码字符串1.6 decode() 方法——解码字符串1.7 endswith() 方法——是否以指定子字符串结尾、startswith() 方法1.8 find() 方法——字符串首次出现的索引位置(rfi
【Day2.1】青海湖沿湖公路骑行
lijf2001的博客
07-26 259
第二天早餐，依然差，也没办法，一定要填饱肚子，骑行可耗体力了。天气非常好，阳光也出来了，心情也就自然好了。 事实上，我们就住在青海湖湖边，也就是在金银滩草原上，开车去青海湖，依然是在草原上开车。阳光出来了，相比于昨日的阴雨，现在好看多了。 车游一下青海湖，从湖的南岸绕道了北岸，但是，青海湖最近荒漠化仍然在加剧。 然后换自行车，专业的山地越野车。 研讨可以欣赏一下风景。不过呢，油菜花田都是牧民家的，都是有围栏围起来的，进去又要另外收钱的。价格也不算贵，十块一个人。 走向湖边，快到湖边的时候，便是湿地
Hive3.1学习笔记汇总
m0_38109926的博客
08-18 800
一、Hive基本概念 1.1 hive是什么 hive是基于hadoop的一个数仓分析工具，hive可以将hdfs上存储的结构化的数据，映射成一张表，然后让用户写HQL(类SQL)来分析数据 tel up down 1383838438 1345 1567 1383838439 5345 1567 1383838440 1241 16577 1383838441
【Day4.2】石油小镇
lijf2001的博客
07-27 502
又是要坐一早上车，路上还遇上了修路，还要走坑坑洼洼的烂泥路，简直就是松骨按摩，把我们几天的疲劳都驱散了。这个山口不仅仅是翻过垭口的最高海拔，也是青海省与甘肃省的分界线。这里路还不怕太多弯，路上车也不少，车速还不算太快，并不怕晕车。 石油小镇，原本是在这里开采石油的工人和家属的生活区，后来资源枯竭，人去楼空，成了个空城。再后来呢，又因为一部电影，让这里又再次火起来了，成为了网红打卡景点。 门票还不包含在团费里的，而且还没有学生票，不过总体感觉还好，不算贵，但是私人景点。 当然，这里也不乏拍电影遗留下的道具
3.1Tableau数据可视化
adamlay的博客
12-09 8765
目录
javaweb学习day01
adser_user的博客
05-03 1073
央视网
【Day3.2】南八仙
lijf2001的博客
07-26 270
G315路旁就是南八仙，雅丹风蚀地貌，一块块巨大的石头上，被风沙划出一条条刮痕。 有点遗憾，这整条路都不能停车，我们也没有机会下车，亲近这些巨大的石头来拍照，只能远观。不过，这样更加显得荒漠的那种壮阔荒凉，有点像在火星的感觉。 路上还能看到从西宁出发的，著名的青藏铁路。 值得注意的是，这一路上基本上没有什么手机信号，更加没有餐厅。因此需要提前准备一些干粮，也提前告知家人朋友，以免引起不必要的担心。 ...
DG3.1——逻辑备库说明
changyanmanman的专栏
08-21 2646
一．逻辑Standby的准备工作   1  确认操作的对象和语句是否能被逻辑Standby支持 由于逻辑Standby是通过SQL应用来保持与Primary数据库的同步。SQL应用与REDO应用是有很大的区别，REDO应用实际上是在物理Standby端进行RECOVER；SQL应用则是分析重做日志文件中的REDO信息，并将其转换为SQL语句，在逻辑Standby端执行，因此，需要
excel range 判断日期型_我的Excel学习笔记——基础篇
weixin_34260071的博客
12-27 1827
本学习笔记基于王佩丰老师的【王佩丰】Excel 2010系列视频教程，老师讲的超级棒，浅显易懂，循循善诱。在此将我学习过程中的笔记分享给大家，一方面勉励自己，一方面分享知识~以下为正文王佩丰Excel一 Excel常用功能1.1 认识Excel1.1.1 excel作用1.2 基础概念1.3 单元格格式设置1.4 排序与筛选1.5 分类汇总和数据有效性（数据验证）1.6 数据透视表二 Excel函...
java long型拼接_JAVA基础笔记（1）
weixin_39873741的博客
02-03 1182
一、初识Java编程1、Java开发环境 JDK Java开发工具JVM Java虚拟机JRE Java运行环境2、实现第一个hello worldpublic class Hello{ public static void main(String[] args){ System.out.println("hello man!"); }}执行代码：（1） 在命令窗体输入： jav...
旅游管理系统Day01.txt
10-17
MySQL 是一种关系型数据库管理系统（RDBMS），广泛应用于 Web 应用、电子商务系统以及其他各类应用软件的后端数据存储。 #### 1.2 MySQL 的特点 - **易用性**：MySQL 提供了直观的操作界面和丰富的命令行工具，...
基于大数据的城市活跃度研究
AI天才研究院
05-31 1031
1.背景介绍 随着信息技术的飞速发展，城市化进程的加快，如何评估一个城市的活力成为一个重要的问题。城市活跃度的评估不仅对城市规划者、商业决策者有重要意义，也对普通居民的生活质量产生影响。传统上，城市活跃度是通过人口密度、交通便利程度、公共服务设施等指标来衡量。然而，在大数据时代背景下，我们可以通过更加精细和实时的数据分析来研究城市的活跃度。
【tips】青甘大环线收获
lijf2001的博客
08-01 1353
实用信息 海拔 整条线路的海拔变化比较大，兰州的海拔大概在1600左右，虽然有点高，但是直飞兰州也不会有太大影响，这个海拔可以适应。 但是到了青海湖，海拔就已经到了3000了，这个海拔可能会引起一些小小的不适，特别在剧烈运动的时候。如果行程中有安排青海湖骑行的话，这一点一定要注意。 而到了敦煌，海拔就更低了，只要1200左右，这里基本上就不再需要担心高反了。 交通 青甘大环线主要有两个出发点，一个是兰州，一个是西宁。 相对于西宁，兰州的航班更多一些，但是兰州出发也是要经过西宁的，而且两者之间开车也要开半天，
【Day6.1】泰国最好的大学——朱拉隆宫大学
lijf2001的博客
08-30 740
航班是下午的，早上还有点时间去走一下，酒店旁边就是朱拉隆宫大学，这就再好不过了。 大学里面的确没有什么好逛的，也就拍点建筑，这个大学里面还是挺大的，有学校内的公交车。 或许是放假的原因，大学里面基本没有上面人，主要的都是游客，但也是很少。讲句实在话，这里真没有什么好看的，所以旅行团就根本不会来这里，只有自由行的游客才会来这里。而且很少有专门来这里看的人，很多都是像我们一样，酒店在附近，就顺路...
【Day6.2】现金所剩无几，机智想办法去机场
lijf2001的博客
08-30 615
原本打算的是坐这里的轨道交通过去的虽然说酒店离某一个地铁站很近，但是地铁换乘比较麻烦，要拖着一个大箱子。所以就打算打的士去到另一个地铁站，也是离酒店比较近的，就稍微远了一点，然后在那里可以坐地铁直达机场。想让酒店前台帮忙叫的士，但酒店前台看了说，一辆的士不行，因为有两个大箱子，如果要了叫一辆大的士，或者两辆小的士，这样费用又高了，现金可能又不够了。有点尴尬，手头上可能也就只有三百来块泰铢，至少要留...
【Day3.4】东台吉尔湖
lijf2001的博客
07-26 550
这个也是一个盐湖，相比茶卡盐湖这种网红的盐湖，它的知名度较小。 而且还有一点就是，它没有完全开发，目前不需要门票，仅仅需要一个停车费。 但是，车不能开到湖边，还是需要自己走一段路。 这里的湖水颜色非常特别，淡淡的绿色，实属罕见。 受限于视野，并没有观景台，也没有无人机，并不能看到整个湖的全貌，但可以看到湖水绵延都天边的美景。 不过机智的我们利用自拍杆，提升了相机的高度，但效果不明显。 通过化学知识，我们值得铜离子会显蓝色，浓度较稀的铜离子会显绿色。铁离子会显黄色，而亚铁离子会显浅绿色。估计这一湖湖水
【Day1.2】入住安纳塔拉酒店，享受五星级服务
lijf2001的博客
08-30 539
这家是全球第一家安娜塔拉酒店，2001年建成，在国内的西双版纳、三亚、贵阳也有安娜塔拉酒店。虽然说有一点旧，但总体感觉还是很不错的。 酒店的服务员英文水平很不错，服务态度很好，还有welcome juice，checkin很快就搞定了，不过这里的押金不收人民币，我们选择了用美元，原本身上就没有带多少泰铢，再交完押金，那就差不多没有泰铢了。 我们订的是豪华园景房，房间够大，有阳台，空调也够冷。配有...
给我来一份详细的ETL全过程实战项目，技术栈在oracle、mysql、hive、hadoop、hdfs、kettle、Linux、xhell、find bi中选择
最新发布
03-11
<think>好的，用户需要一份详细的ETL全过程实战项目，使用的技术栈包括Oracle、MySQL、Hive、Hadoop、HDFS、Kettle、Linux、Xshell和Find BI。首先，我需要明确用户的需求。他们可能是在寻找一个完整的ETL流程示例，涵盖数据抽取、转换、加载的各个步骤，并且希望使用指定的技术栈。用户可能是一位数据工程师或者ETL开发人员，想要了解如何将这些技术结合起来处理实际的数据集成任务。 接下来，我需要考虑如何将这些技术整合到一个项目中。Oracle和MySQL作为传统的关系型数据库，可能作为数据源或目标库。Hive和Hadoop用于大数据处理，HDFS是存储层。Kettle作为ETL工具，负责数据抽取和转换。Linux和Xshell是操作环境，Find BI则是最后的可视化工具。需要确保每个步骤都覆盖到这些技术，并且流程合理。 然后，思考项目的结构。通常ETL流程分为数据抽取、清洗转换、加载和可视化几个阶段。需要为每个阶段选择合适的工具和技术。例如，使用Kettle从Oracle和MySQL抽取数据，处理后在Hive中进行进一步转换，最后加载到HDFS或者另一个数据库，再用Find BI展示。 同时，要注意技术栈之间的兼容性和连接方式。比如，Kettle如何连接Hive和Hadoop，是否需要配置JDBC驱动，数据如何从HDFS导入到Hive等。此外，Linux环境下使用Xshell进行服务器操作，可能需要编写Shell脚本调度Kettle作业。 用户可能还希望看到具体的步骤和代码示例，比如Kettle的转换配置、Hive的HQL语句、HDFS的命令行操作，以及Find BI的连接设置。需要确保这些示例准确且符合最佳实践。 另外，要考虑数据处理的典型场景，比如全量抽取、增量抽取、数据清洗规则、维度建模等。需要设计一个实际案例，比如销售数据分析，包含订单、客户、产品等表，进行ETL处理，最终生成数据仓库和BI报表。 最后，验证整个流程的可行性，确保每一步骤的技术实现正确，并且各组件协同工作。可能需要提及常见问题及解决方法，比如性能优化、错误处理、日志记录等，帮助用户避免常见陷阱。 总结下来，需要构建一个从数据源到可视化的完整ETL流程，结合用户指定的技术栈，分步骤详细说明，提供可操作的代码和配置示例，并确保逻辑清晰、技术正确。</think>以下是一个基于您指定技术栈的ETL实战项目完整流程设计，涵盖数据抽取、清洗、转换、加载及可视化全链路： --- ### **项目背景** 某电商公司需整合Oracle中的交易数据（订单表、支付表）和MySQL中的用户行为数据（点击日志表），构建Hive数据仓库，支撑Find BI的销售分析报表。 --- ### **技术栈分工** | 阶段 | 工具/组件 | 用途 | |------------|---------------------|----------------------------------| | 数据抽取 | Kettle + Oracle驱动 | 从Oracle/MySQL抽取数据 | | 文件传输 | Linux + Xshell | 执行脚本化操作及文件传输 | | 存储计算 | Hadoop + HDFS | 分布式存储原始数据 | | 数据清洗 | Hive + HQL | 结构化数据清洗与转换 | | 调度监控 | crontab + Shell | 定时任务调度与日志跟踪 | | 可视化 | Find BI | 多维分析及报表展示 | --- ### **一、数据抽取（Extract）** #### 1.1 使用Kettle配置数据库连接 ```sql /* Oracle连接配置 */ 主机名：oracle-prod 端口：1521 SID：ORCL 用户：etl_user 密码：***** /* MySQL连接配置 */ 主机名：mysql-activity 端口：3306 数据库：user_behavior 用户：etl_user 密码：***** ``` #### 1.2 设计Kettle转换作业 - **增量抽取策略**： - Oracle订单表：按`last_update_time`字段增量抽取 - MySQL点击日志：按`log_date`分区全量抽取 ```xml <!-- Oracle输入组件SQL示例 --> SELECT order_id, user_id, amount, order_time FROM orders WHERE order_time > &#39;${LAST_EXTRACT_DATE}&#39; <!-- MySQL表输入配置 --> 表名：click_logs_${YESTERDAY_YYYYMMDD} ``` #### 1.3 输出到HDFS - 使用**HDFS Put**组件将数据写入HDFS暂存区 ```bash # 输出路径示例 /original_data/orders/${YYYYMMDD} /original_data/clicks/${YYYYMMDD} ``` --- ### **二、数据清洗转换（Transform）** #### 2.1 创建Hive外部表映射原始数据 ```sql CREATE EXTERNAL TABLE raw_orders ( order_id STRING, user_id STRING, amount DECIMAL(10,2), order_time TIMESTAMP ) PARTITIONED BY (dt STRING) LOCATION &#39;/original_data/orders&#39;; MSCK REPAIR TABLE raw_orders; --自动加载分区 ``` #### 2.2 执行数据质量检查 ```sql -- 空值检查 SELECT COUNT(*) FROM raw_orders WHERE order_id IS NULL AND dt=&#39;20231001&#39;; -- 重复订单检测 SELECT order_id, COUNT(1) AS cnt FROM raw_orders WHERE dt=&#39;20231001&#39; GROUP BY order_id HAVING cnt > 1; ``` #### 2.3 维度建模（星型模型） ```sql -- 事实表 CREATE TABLE fact_orders ( order_id STRING, user_id STRING, product_id STRING, amount DECIMAL(10,2), order_date DATE, region_id INT ) PARTITIONED BY (dt STRING) STORED AS ORC; -- 维度表 CREATE TABLE dim_user ( user_id STRING, gender STRING, age_group STRING, reg_date DATE ) STORED AS ORC; ``` --- ### **三、数据加载（Load）** #### 3.1 使用HQL执行插入操作 ```sql INSERT OVERWRITE TABLE fact_orders PARTITION(dt=&#39;20231001&#39;) SELECT o.order_id, o.user_id, p.product_id, o.amount, DATE(o.order_time), u.region_id FROM raw_orders o JOIN mysql_users u ON o.user_id = u.user_id JOIN oracle_products p ON o.product_code = p.code WHERE o.dt=&#39;20231001&#39;; ``` #### 3.2 优化存储 ```sql -- 压缩存储 SET hive.exec.compress.output=true; SET mapred.output.compression.codec=org.apache.hadoop.io.compress.SnappyCodec; -- 合并小文件 ALTER TABLE fact_orders CONCATENATE; ``` --- ### **四、任务调度与监控** #### 4.1 编写Shell调度脚本 ```bash #!/bin/bash # etl_daily.sh export KETTLE_HOME=/opt/data-integration DATE=`date -d "1 day ago" +%Y%m%d` # 执行Kettle作业 sh pan.sh -file=/jobs/extract_orders.ktr -param:EXTRACT_DATE=${DATE} # 触发Hive清洗任务 hive -e "INSERT OVERWRITE ... dt=&#39;${DATE}&#39;" # 错误处理 if [ $? -ne 0 ]; then echo "ETL失败！日期：${DATE}" | mail -s "ETL告警" admin@example.com fi ``` #### 4.2 配置crontab定时任务 ```bash 0 2 * * * /opt/scripts/etl_daily.sh >> /logs/etl.log 2>&1 ``` --- ### **五、可视化层（Find BI）** #### 5.1 连接Hive数据源 ```yaml 数据源类型：Apache Hive 服务器：hive-server.prod 端口：10000 认证方式：Kerberos 数据库：dw_sales ``` #### 5.2 创建数据集 ```sql -- 日销售额趋势 SELECT order_date, SUM(amount) FROM fact_orders GROUP BY order_date; ``` #### 5.3 构建仪表板 - 组件1：区域销售热力图（绑定region_id维度） - 组件2：用户年龄分布环形图（关联dim_user表） - 组件3：Top10商品排行榜 --- ### **六、关键技术验证点** 1. **Oracle到HDFS性能优化** - 使用Kettle批量提交（Batch Update Size=1000） - 启用Oracle并行查询`/*+ PARALLEL(8) */` 2. **Hive动态分区配置** ```sql SET hive.exec.dynamic.partition=true; SET hive.exec.dynamic.partition.mode=nonstrict; ``` 3. **数据一致性校验** ```sql -- 源库与目标库计数比对 SELECT &#39;Oracle源&#39; AS source, COUNT(*) FROM orders@oracle_link UNION ALL SELECT &#39;Hive目标&#39; AS source, COUNT(*) FROM fact_orders; ``` --- ### **项目成果** - 实现**每小时增量同步**，延迟控制在15分钟以内 - 支撑**20+张实时报表**，查询响应时间<3秒 - 历史数据存储成本降低60%（ORC+Snappy压缩） 建议后续扩展： 1. 增加CDC日志捕获（如Debezium）实现实时ETL 2. 引入Airflow实现跨系统工作流调度 3. 使用Atlas构建元数据管理系统
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值