自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

大数据技术派

代码改变世界,代码改变命运! | 微信搜索:大数据技术派

  • 博客(14)
  • 资源 (5)
  • 问答 (1)
  • 收藏
  • 关注

转载 Flink 原理与实现:Aysnc I/O

背景Async I/O 是阿里巴巴贡献给社区的一个呼声非常高的特性,于1.2版本引入。主要目的是为了解决与外部系统交互时网络延迟成为了系统瓶颈的问题。流计算系统中经常需要与外部系统进行交互,比如需要查询外部数据库以关联上用户的额外信息。通常,我们的实现方式是向数据库发送用户a的查询请求,然后等待结果返回,在这之前,我们无法发送用户b的查询请求。这是一种同步访问的模式,如下图左边所示。...

2019-02-28 22:40:15 660 1

原创 10000个数字保存到10个文件,你Python基础怎么样?

因为工作原因,虽然主要写Java,其实Python用的相对还是较多。这不,哥们儿也要学Python,正好他们有一个需求:将10000个数字平均保存到10个文件,0~100...

2019-02-28 22:20:51 498

转载 Python数据分析,系统步骤介绍!

摘要在用Python做数据分析的过程中,有一些操作步骤和逻辑框架是很固定的,只需要记住其用法即可。本节内容介绍Pandas模块在数据分析中的常用方法。内容目录1、...

2019-02-28 22:20:51 754

转载 hive 亿级用户表整挂到复活的经历

数据组有一个需求,创建一张hive用户表,包含用户的基本信息,后续可能会添加字段,作为用户的标签,还有一些字段需要更新,也就是说这张用户表需要每天:insert、upda...

2019-02-27 22:56:20 681

转载 数据分析概述+框架+方法+工具!

说在前面做数据分析其实是一件有趣且困难的事,而在这个学习过程中,需要我们不断地更新知识,不断观察学习行业技术更新,那做数据分析这一行,当然也不例外要学习这些世界顶尖公...

2019-02-27 22:56:20 771

原创 Python操作Mysql麻烦,敢不敢自己封装一个包可好?

待我代码写成,便娶你为妻!数据分析免不了使用Python操作Mysql,直接操作Mysql的表,对其进行操作;或者直接将Python中的数据集统计的结果保存到Mysql。...

2019-02-26 21:19:41 399

转载 你愿意花十分钟系统了解数据分析方法吗?

通常在拿到一份数据进行相关的模型训练之前,我们需要进行数据清洗以便得到干净的数据。进一步需要找到与问题有关的特征信息,并把这些特征转换成特征矩阵的数值,这也就是机器学习实...

2019-02-26 21:19:41 325

转载 数据分析之Pandas VS SQL!

题外话之今日新闻联播感动时刻,念念不忘,必有回响!AbstractPandas是一个开源的Python数据分析库,结合 NumPy 和 Matplotlib 类库,可以在...

2019-02-25 20:53:04 564 1

转载 MySQL 面试之必会知识点

原文链接:https://www.jianshu.com/p/5052f6a454ef事务特征:原子性:不可分割的操作单元,事务中所有操作,要么全部成功;要么撤回到执行事...

2019-02-24 20:46:38 481

转载 数据分析必学知识之MySQL 使用方法简单教程

原文链接:https://blog.csdn.net/chinacodec/article/details/5797127mysql作为一个使用最广泛的数据库,在网络we...

2019-02-23 22:54:50 512

原创 Flink连接kafka,将DataStream转换为Table进行查询操作

Table API是用于流和批处理的统一关系API。 Table API查询可以在批量或流式输入上运行而无需修改。 Table API是SQL语言的超级集合,专门用于与Apache Flink一起使用。 Table API是Scala和Java语言集成API。 Table API查询不是像SQL一样将字符串值指定为SQL,而是在Java或Scala中以嵌入语言的样式定义,并支持自动完成和语法验证等...

2019-02-22 23:31:11 12948 1

转载 数据分析必会知识轻松学习

R语言数据分析挖掘实战R与Python数据挖掘实战mysql入门到精通教程打飞机游戏PySpark最新大数据高薪课程R语言爬虫详解与实战零基础入门Python数据分析点击...

2019-02-16 22:41:53 304

转载 kmeans算法python代码——可直接运行

在安装了相应依赖包情况下,以下代码可直接运行。 1#-*-coding:utf-8-*- 2 3importnumpyasnp 4import...

2019-02-16 22:41:53 1083

原创 Winwows下Python命令行执行脚本乱码

解决方法1.直接使用 u’中文’ 形式,指明以unicode编码,解码方式会以顶部 #coding定义的编码方式,如果不写,以操作系统当前编码方法,建议写上#coding,因为要让操作系统编码和源文件编码经常会不一样。推荐使用这种方式2.输出时指定解码方法 print ‘是’.decode(“utf8”) ,必须和保存的编码一致,忽略#coding的定义3.将#coding 和保存编码...

2019-02-01 21:20:55 623

Zookeeper单机环境和集群环境搭建

Zookeeper单机环境和集群环境搭建

2023-06-15

虚拟机静态IP及多IP配置

虚拟机静态IP及多IP配置

2023-06-15

基于Zookeeper搭建Kafka高可用集群

基于Zookeeper搭建Kafka高可用集群

2023-06-15

基于Zookeeper搭建Hadoop高可用集群

基于Zookeeper搭建Hadoop高可用集群

2023-06-15

Storm集群环境搭建

Storm集群环境搭建

2023-06-15

Spark开发环境搭建

Spark开发环境搭建

2023-06-15

Spark集群环境搭建

Spark集群环境搭建

2023-06-15

Linux下Python安装

Linux下Python安装

2023-06-15

Linux下JDK安装

Linux下JDK安装

2023-06-15

Linux下Flume的安装

Linux下Flume的安装

2023-06-15

Linux环境下Hive的安装部署

Linux环境下Hive的安装部署

2023-06-15

HBase集群环境搭建

HBase集群环境搭建

2023-06-15

Hadoop集群环境搭建

Hadoop集群环境搭建

2023-06-15

docker 安装 wordpress,通过nginx反向代理,绑定域名,配置https

docker 安装 wordpress,通过nginx反向代理,绑定域名,配置https

2023-06-15

5分钟安装docker教程

5分钟安装docker教程

2023-06-15

2022年Python爬虫最全资料【6年爬虫经验精华总结】

【主要内容】 1. Python爬虫简介与环境安装 - Pythonn环境 - Selenium安装 - Python相关包 2. 基本库的使用 - 爬虫基本原理; - urlib库使用; - requests库使用; - bs4使用; - xpath和lxml使用; - selenium使用; - PyQuery使用; 3. scrapy基本使用 4. Scrapy redis实现分布式爬虫 5. 反爬措施 6. 手机APP爬虫 - 模拟器安装、fiddler、appium、mitmproxy安装; - 抓包工具的使用; - 移动端自动化控制; - 利用mitmproxy抓取存储数据; - apk脱壳反编译; references,学习资料分享 价格可谈,联系我:ddxygq。

2022-07-07

阿里巴巴java开发手册中文版

阿里巴巴java开发手册,高清原版,规范你的java开发习惯,让你的开发习惯与顶级互联网公对齐!

2018-09-02

hive-hbase-handler-1.2.1.jar

hive-hbase-handler-1.2.1.jar解决hive1.2.1,hbase不兼容情况!

2018-08-15

hadoop-2.7.2 windows7环境编译文件(winutils.exe、hadoop.dll)

windows环境下开发hadoop与本地运行,会报错,需要编译win环境hadoop工具 否则,可能会有两种错误: 1、Did not find winutils.exe: java.io.FileNotFoundException; 2、java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows 将里面的bin目录覆盖到hadoop对应bin目录即可

2018-03-07

用matlab编写猜字小游戏

用matlab编写猜字小游戏

2016-10-24

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除