神芷迦蓝寺

落雨墨云暮,若当年明月三人游,自以自守护。恨天涯一人输,认了吧,何顾南阳诸葛庐...

愿岁月流成花海,你我结伴而行

Part1 遇见你的时候所有星星都落到我头上 2017年11月3日,我们第一次通过微信相识,或许当时我们都不会想到,这一切美好的故事会从一句“你好”开始 彼时我在广州,你在齐齐哈尔,三千多公里的距离拉远了我和你见面的冲动,却拉近了我和你之间青涩的感情 那几个月占据了我之前所有的手机聊天,从...

2019-05-22 17:24:29

阅读数 172

评论数 2

浅谈增量数据的四种抽取模式

大数据云时代,数据上云ETL已成了最基础,最根本,最必须的一个步骤。目前数据传输迁移的工具非常多,比如DataX,DTS,Kettle等等。为了保证云上存储空间的有效利用和数据的整体唯一性,就没必要每天都上一份全量,故几乎所有数据上云的策略都是全量加增量的模式:即第一次上一份全量,后续每天只上增量...

2018-07-11 11:33:30

阅读数 3990

评论数 0

python 判断字符是否含有数字

import re pattern = re.compile('[0-9]+') match = pattern.findall(station) if match: print ('contain numbers') else: print ('no numbers') 可深...

2019-08-20 14:41:41

阅读数 9

评论数 0

如何简单地理解Python中的if __name__ == '__main__'

见Locutus的 https://blog.csdn.net/yjk13703623757/article/details/77918633 写的很棒,很透彻,强推

2019-08-19 18:06:52

阅读数 39

评论数 0

python如何调用其他应用程序

使用os包的startfile # -*- coding: UTF-8 -*- ########################################################################## # SCRIPT_NAME : easystation.py...

2019-08-19 18:03:47

阅读数 15

评论数 0

如何在shell脚本中调用oracle数据库并返回结果

oracle数据库在linux系统里一般用的是oracle用户,环境变量等也是oracle用户 那么如何在root用户下写shell脚本调用oracle数据库并返回结果 只需要在你的shell脚本中加入下面的脚本即可! # 获取oracle环境变量并在root用户中生效(暂时) expo...

2019-08-13 11:19:33

阅读数 47

评论数 0

大数据开发SQL类场景汇总及解答

1. 有一张学生成绩表(Grade),含有Student,Subject,Grade1三个字段,其中Subject共有五门,Grade1 >= 60 为及格,其中存在着缺考情况,若缺考则表里会少一条数据,比如小明五门课都考了,则表里他有五条数据,小华缺考了两门,则表里只有他三条数据,...

2019-08-09 15:26:26

阅读数 49

评论数 0

MySQL主备复制集群安装详细步骤

先给MySQL打个广告简单介绍一下 MySQL作为一个RDBMS数据库的优势: 运行速度快,MySQL体积小,命令执行的速度快。 使用成本低。MySQL是开源的,且提供免费版本,对大多数用户来说大大降低了使用成本。 使用容易。与其他大型数据库的设置和管理相比,其复杂程度较低,易于使用。 ...

2019-08-02 11:09:22

阅读数 67

评论数 0

物理机与虚拟机之间的文件互传

现在的服务器平台架构基本上都是集群模式,集群里的每一台物理机又可以虚出来很多虚拟机,层层叠进,那么物理机与虚拟机之间如何文件互传呢 由于单纯的物理机的性质只是存储服务器,虚拟机要想获取物理机上的文件,可以采用以下办法 把文件打包成iso文件格式,虚拟机选择挂载这个文件即可:把需要上传的文件夹用...

2019-08-01 09:23:06

阅读数 46

评论数 0

大数据之路之平台数据开发规范

一 数据开发规范 命名标准 这个命名包含了表命名,项目命名,作业命名等,拿表名来说,一般都是按系统来为首,业务做次之,接着是表名,最后还加上一些备注信息,demo是 系统_业务_表名_备注,比如来自外部互联网的一条用于监控的每日更新的日志表HLW_JK_LOG_RT,不过具体命名以实际业务来定,...

2019-07-20 22:32:08

阅读数 179

评论数 0

HTML基础知识的入门学习

Chapter 1 基础框架 1.html是脚本语言,文件名为.html或者.htm 2.基本框架: <!DOCTYPE html> <html> <head> <meta charset...

2019-07-19 19:28:59

阅读数 69

评论数 0

大数据之路之数据上云解决方案(增量)

上篇说到全量数据上云,这里继续讲增量 为什么要用到增量?因为小数据库还好,数据量大的,每一次都要全量既对存储压力巨大,也对上云效率产生弊端,每次都要上全量代价太大了,所以这时候为什么不考虑全量+增量=全量的模式呢,即如果某库数据是一天一调度,那就是昨天的全量+今天的增量=今天的全量,如此一来只需...

2019-07-19 17:19:33

阅读数 124

评论数 0

大数据之路之数据上云解决方案(全量)

定义:数据上云又称数据采集,数据集成,数据迁移,是大数据架构中的最基础也是最根本的一环,从性质上来讲属于ETL中的一部分操作,即把数据从一个地方迁移汇总到另外一个地方。数据上云解决了信息孤岛问题,解决了信息不对称问题,即”车同轨书同文“,同时把数据迁移到云计算平台,对后续数据的计算和应用提供了第一...

2019-07-19 16:08:57

阅读数 45

评论数 0

Git测试报错ssh: connect to host gitub.com port 22: Connection refused

Git 测试运行ssh -T git@gitub.com,报错ssh: connect to host gitub.com port 22: Connection refused 知道大家时间很忙,我先直接说出解决方案,就是下面两行代码,如果对我探求真知的道路感兴趣,可以继续往下读 # ...

2019-07-19 11:25:32

阅读数 54

评论数 0

大数据之路之交通大数据应用总体架构设计

上期简单介绍了大数据,了解了大数据应用的可行性与必然性,事实上也的确如此,大数据在公共管理(某省的最多跑一次),教育行业(某省交通厅大数据建设),税务行业(某省税务大数据平台应用建设),信息管理(某省人口库建设)等等方面都有很多建树,本文以智慧交通为主题介绍下主流大数据应用的总体架构设计 云服务...

2019-07-18 13:51:12

阅读数 6311

评论数 0

大数据之路之为什么要用大数据

数据自古就存在 古代从结绳记事到仓颉造字到甲骨八卦再到蔡伦制纸 近代从1800年第一块伏特电池到1946年人类发明第一台电脑 现代从世纪初开发出Hadoop生态到十三五计划把大数据上升到国家级战略 数据作为一种资源自古就存在着,尤其到了近现代,数据通过电子化,数字化无线增值,人类存储的数据...

2019-07-18 11:22:05

阅读数 142

评论数 0

Django入门基础:基于MySQL数据库的安装+连接+操作

4.数据库 4.1.安装数据库,推荐轻量型,查询快的MySQL,MySQL安装我之前有介绍过离线安装,如果联网的方便的话可以试下在线安装 需要注意的是一般linux系统自带的服务都是MySql5.5以下的,但是Django2.1之后只支持MySql5.6及以上,不然会报错: django.db...

2019-07-18 09:30:00

阅读数 34

评论数 0

Django入门基础:安装 + 模型

1.简介 Python下有许多款不同的 Web 框架。Django是重量级选手中最有代表性的一位。许多成功的网站和APP都基于Django。它是一个开放源代码的Web应用框架,由Python写成。Django遵守BSD版权,初次发布于2005年7月, 并于2008年9月发布了第一个正式版本1.0...

2019-07-18 09:29:35

阅读数 35

评论数 0

VMware安装虚拟系统全流程

下载VMware安装包和系统(linux or windows or mac)镜像安装包,由于涉及到版权破解等问题就不放出公开下载链接了,如需要各类破解安装包可留言 双击打开安装好的VMware,点击创建新的虚拟机 选择典型,点击下一步,选择系统镜像文件,点击下一步选择正确的系统(linu...

2019-07-15 09:42:18

阅读数 42

评论数 0

pandas数据处理里最好用的函数apply+lambda

apply(func [, args [, kwargs ]]) 函数用于当函数参数已经存在于一个元组或字典中时,间接地调用函数。args是一个包含将要提供给函数的按位置传递的参数的元组。如果省略了args,任 何参数都不会被传递,kwargs是一个包含关键字参数的字典。简单说apply()的返回...

2019-07-10 11:59:10

阅读数 136

评论数 0

提示
确定要删除当前文章?
取消 删除