大数据
文章平均质量分 74
不吃西红柿丶
CSDN内容合伙人、信息技术智库公号作者、华为HDZ成员、《Python爬虫入门到开发实战》作者。深受全网30万粉丝不爱的技术博主,交流合作私信+。目前就职于Apple,欢迎技术交流。
展开
-
想做自动驾驶技术的入,这回分享一个简单好用的开放平台
Apollo的升级主要看三个"新":新框架易用、易拓展;新能力迅捷、精准、高效;新社区高效学习。原创 2022-12-28 15:16:19 · 12387 阅读 · 20 评论 -
你真的会用 regexp_replace 吗?
一、替换单个方法1:select regexp_replace('asdgggg','([asd])',"aaa")方法2:select regexp_replace('asdgggg','asd',"aaa")二、替换多个目标:一次性替换掉 [,],",三个特殊字符方法1:SELECT regexp_replace('["dddssss"]','([\\[\\]\\"])', '')正则表达式:([asd]),替换其中的字符,这里我需要替换掉 [、]、" 三个特殊字符,需要使用\\进行转译原创 2022-02-21 11:13:24 · 1769 阅读 · 0 评论 -
❤ 就这?TypeScript其实并不难!(建议收藏)❤
TypeScript是一种由微软开发的自由和开源的编程语言,它是JavaScript的一个超集,扩展了JavaScript的语法。原创 2021-08-02 09:01:25 · 6715 阅读 · 74 评论 -
《爬虫写得好,铁窗关到老》教你把握爬虫的法律边界!㊫
❤ 免费下载海量【PPT模板、简历模板、学习资料】原创 2021-06-23 13:34:58 · 32290 阅读 · 102 评论 -
【粉丝福利、免费领取】:1000套PPT模板、100份简历模板、硬核学习资料+PDF资料(java、python、大数据、机器学习)
目录1、1000套精品PPT模板2、100套小编购买的简历模板3、python学习全集4、大数据-行业资料5、数据仓库项目实战6、机器学习&推荐系统7、大数据-学习资料【下载方法】关注公众号【大数据club】 > 点击【资料下载】1、1000套精品PPT模板2、100套小编购买的简历模板3、python学习全集4、大数据-行业资料5、数据仓库项目实战...原创 2021-06-21 16:40:30 · 8007 阅读 · 16 评论 -
70行Python代码,获取中国数据库大会(DTCC)全部PPT
数据库领域的技术风向标,见证了整个行业的发展与演变。原创 2021-05-28 00:07:51 · 12320 阅读 · 65 评论 -
【一鸣离职,左晖去世】互联网老兵给大家的三个建议
2021年5月20日,除了娱乐圈的分分合合,互联网圈发生了两件大事: 1、字节跳动创始人张一鸣发布内部全员信,宣布卸任CEO一职。字节跳动联合创始人梁汝波将接任成为新CEO。 2、贝壳发布公告,公司创始人兼董事长左晖先生因疾病意外恶化于2021年5月20日去世。对于一鸣卸任CEO一职,深层次的原因我无从知道,但我由衷恭喜这位将短视频娱乐行业发扬光大,改变中国乃至世界人民娱乐方式的伟大创始人,离开互联网行业去做其他同样有意思的事情。听到第二个消息,我的心情无比沉重,...原创 2021-05-21 00:02:04 · 8217 阅读 · 21 评论 -
NFS服务器原理、搭建、配置
NFS服务简介什么是NFS?NFS挂载原理:RPC与NFS通讯原理:NFS客户端和NFS服务器通讯过程:Linux下NFS服务器部署NFS服务所需软件及主要配置文件:服务端安装NFS服务步骤:NFS客户端挂载配置:在Window上挂载NFS转载 2021-01-13 18:12:05 · 7977 阅读 · 26 评论 -
Tushare免费获取股票数据:实时数据,历史数据,行情数据
操作手册引导用户顺利开始使用Tushare Pro数据,以下步骤将带您开始Tushare数据之旅:1、用户注册2、获取token3、调取数据如果您是初学者,在此之前,建议您先完成Python环境安装,并熟悉Python的基础用法。1、学会Anaconda安装2、学会下载和安装Tushare SDK3、作为一名合格的量化工程师,或者数据分析师,建议您学习一些IDE开发工具的使用通过Python SDK 调取数据导入tushareimport tushare .原创 2020-12-01 17:05:10 · 15390 阅读 · 2 评论 -
s3cmd安装及使用
一、安装1.下载安装包。这里我们使用s3cmd-1.0.0.tar.gz安装包2.解压安装包tar xzvf s3cmd-1.0.0.tar.gz3.移动路径mv s3cmd-1.0.0 /usr/local/s3cmd4.创建软链接ln -s /usr/local/s3cmd/s3cmd /usr/bin/s3cmd5.执行配置命令(按提示输入相应密码等)s3cmd --configure注:执行该命令后,会生成~/.s3cfg配置文件。6.编辑配置文件...原创 2020-10-12 15:51:02 · 14404 阅读 · 3 评论 -
两种列式存储格式:Parquet和ORC
背景随着大数据时代的到来,越来越多的数据流向了Hadoop生态圈,同时对于能够快速的从TB甚至PB级别的数据中获取有价值的数据对于一个产品和公司来说更加重要,在Hadoop生态圈的快速发展过程中,涌现了一批开源的数据分析引擎,例如Hive、Spark SQL、Impala、Presto等,同时也产生了多个高性能的列式存储格式,例如RCFile、ORC、Parquet等,本文主要从实现的角度上对比分析ORC和Parquet两种典型的列存格式,并对它们做了相应的对比测试。列式存储由于OLAP查询的特转载 2020-09-07 17:58:26 · 11656 阅读 · 1 评论 -
【埋点】是什么埋点?简述埋点的操作流程
第一步【埋点采集】:通过部署埋点,收集数据第二步【数据传输】:将埋点收集到的数据,进行传输第三步【数据存储】:定义数据存储的库,如果数据量较小建议采用mysql,oracle等关系型数据库;数据量较大,建议采用hive,hbase等分布式数据库。定义好数据存储的表结构,属性尽可能采集全面。第四步【数据统计】:根据业务需求进行etl开发,输出业务所需的数据第五步【数据应用】:业务人员验证和使用数据原创 2020-07-16 15:33:14 · 30988 阅读 · 13 评论 -
跳过堡垒机,一键登陆
使用场景:在登陆公司堡垒机时,一般需要个人密码+动态密码(常为OTP密码),本文通过自动生成OTP密码实现一键登录。如果是静态密码,跳过第一步,第二步去掉动态密码部分第一步:获取OTP密码1.安装oathtool2.执行:oathtool -b --totp NEV5ADJIMMPExxxxNEV5ADJIMMPExxxx为个人公钥(一般手动添加时可以看到)第二步:脚本化vim./relay.exp 写入以下内容:#!/usr/bin/expect -fset tim..原创 2020-05-14 16:35:37 · 11376 阅读 · 3 评论 -
git 撤销修改:未push 、已push
获取commit_id:git logcommit_id形如:126f206185f225879f2723ca421f4dee44ca8fe7版本回退:git reset --hard 126f206185f225879f2723ca421f4dee44ca8fe7如果想回退的内容未git push,不需要执行以下步骤!!原创 2019-12-11 11:30:07 · 10882 阅读 · 12 评论 -
随机读写 vs 顺序读写
机械盘:数据是存储的扇区的,读写是依靠磁头的摆动寻址的。顺序读写主要时间花费在了传输时间,随机读写需要多次寻道和旋转延迟。固态盘:是由控制单元和固态存储单元(DRAM或FLASH芯片)组成,存储单元负责存储数据,控制单元负责读取、写入数据。随机读写是相对顺序读写而言的,所谓随机读写,是指可以在任何时候将存取文件的指针指向文件内容的任何位置。一般情况下SAS机械硬盘主要是看顺序读写性能,SSD固态盘主要看随机读写性能。原创 2019-12-09 14:22:09 · 15209 阅读 · 3 评论 -
写代码这条路,能走多远?
职场危机感似乎是每个人在职业生涯都会遇到的话题,我对这种危机处境和自己曾遇到的问题进行了一番思考, 参考了其他人的一些结论并结合自身的经历,设计了应对的初步方案。通过这篇文章,希望能给大家一些启发,也欢迎大家一起讨论、发表建议,化紧张为动力,让危机变机遇。问题分析与定义要解决这个问题,需要从问题本身出发,分析为何会有职场危机感,以及应该构建哪些能力来进行应对。是否会遭遇职场危机,...转载 2019-04-19 17:26:13 · 19124 阅读 · 3 评论