自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(16)
  • 收藏
  • 关注

原创 前言-为什么要写这个

序言-一些由来

2022-11-14 07:02:26 148 1

原创 对于职业生涯,以及职级能力的一些理解

梳理,个人的成长方向和职业规划,个人当前的边界,以及将来的方向

2022-07-12 08:31:08 537 1

转载 历史上的数学危机(转载)

正文math从哲学上来看,矛盾是无处不存在的,即便以确定无疑著称的数学也不例外。数学中有大大小小的许多矛盾,例如正与负、加与减、微分与积分、有理数与无理数、实数与虚数等等。在整个数学发展过程中,还有许多深刻的矛盾,例如有穷与无穷、连续与离散、存在与构造、逻辑与直观、具体对象与抽象对象、概念与计算等等。在数学史上,贯穿着矛盾的斗争与解决。当矛盾激化到涉及整个数学的基础时,就会产生数学危机。而危机的解决,往往能给数学带来新的内容、新的发展,甚至引起革命性的变革。数学的发展就经历过三次关于基础理论的危机。

2021-12-01 18:30:47 425

原创 阿里中台datawork,任务执行流程解析。

阿里中台,datawork中,执行一个任务,比如说python程序。会涉及到多个结点的问题。结点有三类,列出如下结点类型结点作用odps结点(这一类结点可以称为文件结点)可以直接分配到计算结点中执行资源结点(就是datawork中的py之类的文件,不可执行)可以引用到文件节点中,相当于引入第三方包计算结点(就是一台执行任务的机器,容器或者主机)执行中台分配的任务,执行odps结点任务解析:datawork 相当于hadoop中的yarn ,分配任务。当

2021-08-19 18:55:28 1364

原创 dbeaver踩坑:SQL错误[911][22019]:ORA-00911:无效字符

这里写自定义目录标题今天用dbeaver执行sql报错了。解决办法:在dbeaver中,新建script文件,把需要执行的.sql文件代码,复制出来,然后用script执行,就好了。不报错。原因:我觉得这是个bug!原文件是.sql,新建scrpts文件也是.sql,但是,就是新建不报错。...

2021-07-13 15:31:53 3780 2

原创 阿里数据中台,pyodps连接中台,endpoint配置及其他问题。

项目场景:项目采用阿里的数据中台,需在datawork平台上部署python程序。平台中建立pyodps开发节点,可以做python程序部署。中台pyodps文件调试,拉取一遍数据后,程序报错,变量即释放。(20210424)(版本是python2.7)。项目中所有主机无法连接公网。问题描述:遇到以下几个问题:1数据如何从中台读取。解决:参考pyodps文档。https://pyodps.readthedocs.io/zh_CN/latest/base-tables.html#dataframe。

2021-04-24 23:18:34 1707 1

原创 Flask静态文件无法调用,css无法调用解决办法

我遇到的问题详细描述:index.html文件放在templates,然后我render_template返回主页。加载出来的界面完全没有css样式。参考这篇文章解决了。https://blog.csdn.net/YOU_hunter/article/details/102538365原因:当我们直接本地打开index.html时,索引的是html下的路径,如下所示,所以css和index.html放在同一文件夹下,加载出来无问题。但是,当我们把静态文件放在templates文件夹下,虽然ht

2021-02-08 10:18:55 2747 4

原创 对于数据产业的一些胡思乱想。

序言个人看来,一个工具,一个行业的发展和提升,本质上是生产效率的提升。大数据行业,想要真正落地的发展。核心就在于数据有价值,数据就在于能够提升效率,同时不产生法律上的灰色地带。作为一个数据分析师/数据工程师,我想要谈些个人对行业前景的理解。大数据行业参考对《大数据产业发展规划 (2016-2020年)》的理解。我认为可以像供应链一样,去拆解大数据行业将来可能具有的生态模式。当前情况,个人理解:以互联网行业为例,一家经营手游的公司,本身既是数据的生产者,储存者,消费者。这是目前的现实情况。在企业

2020-11-21 00:14:53 111

原创 对hadoop相关各概念的理解

个人对hadoop的一些理解,如有错误,还请指正。hadoop:概念: 分布式系统。【可以理解为就是一个操作系统,跟windows,linux一样,是操作系统,不过是分布式的。能运行程序(mapreduce),能管理文件(就windows的各种盘下的文件管理)】hdfs:概念:分布式文件系统。是hadoop的文件系统。【就跟windows的文件资源管理器一样,能存不同类型的文件,可以对不同的文件进行管理。可以管理用户对文件的权限。文件读、写、执行。】存储原理:1namenode作为管理文件索引位

2020-07-14 21:49:31 170

原创 数据库系统概论(第五版复习)part2+mysql

目录第四章 数据库安全性数据库安全性概述主要几种威胁安全标准数据库安全性控制自主存取控制强制存取控制其他第五章 数据库完整性4完整性约束命名子句7触发器第六章 关系数据理论问题规范化数据依赖的公理系统模式的分解第七章数据库设计需求分析概念结构设计第八章 数据库编程第九章 关系查询处理和优化查询处理步骤第十章数据库恢复技术事务的基本概念第十一章 并发控制第十二章 数据库管理系统第十三章 数据及技术发展概述第十四章 大数据管理第十五章 内存数据库第十六章 数据仓库与联机分析处理技术第四章 数据库安全性数据库

2020-06-15 23:07:21 309

原创 数据库系统概论(第五版复习)part1+mysql

目录前言一、绪论1数据库的四个基本概念2数据管理系统的发展3数据模型4数据库系统结构二、关系数据库1关系数据结构关系数据结构涉及的基本定义有:关系模式2关系操作3关系的完整性4关系代数5关系演算三、关系数据库标准语言sql1数据定义模式的定义表的定义视图的定义索引的定义2数据查询单表查询选择若干列选择若干元组order by排序聚集函数(统计值)group by连接查询等值与非等值连接查询自身连接嵌套查询带in的子查询带比较运算符的子查询带有any或all的子查询带有exists的子查询集合查询基于派生表的

2020-06-11 09:15:33 535

原创 hadoop2.10真分布式+ubuntu1804+vmvare搭建过程

前置条件:按照我上一篇文章给各虚拟机配置好静态ip。参考文章一:https://www.linuxidc.com/Linux/2018-05/152262.htm参考这篇文章修改hosts参考文章二:https://blog.csdn.net/pengjunlee/article/details/81589972参考这篇文章设置相同账号,然后就可以连接了https://www.cnblogs.com/fantasy01/p/4256783.html参考这篇文章传递密钥。然后就是给我不同的虚拟机

2020-05-21 21:08:35 96

原创 vmvare配置ubuntu18.04虚拟机固定ip地址

我参考了如下两篇文章操作:文章一:https://www.cnblogs.com/wyf-349/p/11203464.html我参考这篇文章配置了vmvare的网卡文章二:https://www.cnblogs.com/duaimili/p/10086538.html我参考这篇文章配置了ubuntu的静态ip特别注意:在编辑静态ip的时候,在冒号:后面一定要加空格,不然会报错。...

2020-03-28 11:34:12 1051 1

原创 ubuntu1804安装伪分布式hadoop 过程

今天安装了个伪分布式的hadoop。参考如下文章。https://blog.csdn.net/qq_36561697/article/details/80994405我用的是vmvare安装,在csdn上找了个15.0版本的安装包,然后上官网下载15.3版本更新包,【因为19041版本的win10与之前的vmvare不兼容】,会出现PAGE_FAULT_IN_NONPAGED_AREA报错,...

2020-03-22 20:18:38 125 4

原创 win10安装tensoflow1.14+【显卡1050ti】 cuda 10.0 +python37

挺折腾的.先是更新了显卡驱动,然后vs2017社区版,然后安装cuda9.2,然后cudnn。之后tensoflow,才发现,tensoflow 要1.13以上才有python3.7的包,而tensorflow 1.13以上版本要求cuda 10.0才可以,我觉得python3.7挺好用的。于是,安装了另一个版本显卡驱动,安装cuda10.0,然后cudnn,然后安装tensoflow。完事。...

2019-06-28 01:14:39 281

原创 火狐浏览器看视频经常卡顿,没反应的解决办法

浏览器->选项->常规->性能,把硬件加速关闭。火狐浏览器卡顿原因:1.视频软解(cpu解码)的效果要比硬解(非cpu解码)好,硬件加速默认使用核显;2.浏览器占用内存过大(标签页太多,关硬件加速也没用)。...

2019-05-11 21:09:24 23874 1

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除