LiuYang_

原创 看完做不好百度爱采购你打我！

看完这篇文章做不好爱采购你打我

原创 了解数据倾斜和常用手段

什么是数据倾斜数据倾斜的原因Hadoop计算框架的特点优化的常用手段优化案例1.什么是数据倾斜我们在用hive取数的时候，有的时候只是跑一个简单的join语句，但是却跑了很长的时间，有的时候我们会觉得是集群资源不够导致的，但是很大情况下就是出现了"数据倾斜"的情况。在了解数据倾斜之前，我们应该有一个常识，就是现实生活中的数据分布是不均匀的，俗话说"28定理"，80%的财富集中在20%的人手中之类的故事相信大家都看得不少。所以，在我们日常处理的现实数据中，也是符合这种数据分布的，数据倾斜一般.

原创 python中set集合的使用

集合的定义set1 = set() #定义一个空的集合set2 = {1,2,3}增加一个元素set1.add(5)#增加多个：set1.update([5,6,7,8])#删除某个值set1.remove(1)#查：无法通过下标索引#改：不可变类型无法修改元素a={10,20,30}b={20,50}print(a - b) # a和b的差集{10，30}print(a | b) # a和b的并集{10， 20， 30， 50}print(a

原创 count(*)、count(1)、count(column) 的区别

count(*)、count(1)、count(column) 的区别count(column)对特定的列的值具有的行数进行计算，不包含NULL值。count(1)跟count(主键)一样，只扫描主键。count(*)跟count(非主键)一样，扫描整个表。明显前者更快一些。...

原创 Linux磁盘分区的好处

Linux磁盘分区的好处硬盘分区是就使用分区编辑将一个硬盘上划分几个独立的逻辑部分，盘片一旦划分成数个分区，不同类的目录与文件可以存储进不同的分区。　　　越多分区，也就有更多不同的地方，可以将文件的性质区分得更细，按照更为细分的性质，存储在不同的地方以管理文件；但太多分区就成了麻烦。　　　　硬盘分区就像给一间空荡的房子划分出卧室，厨房，客厅等相互隔离的空间一样。主要是为了方面用户的使用。　　　　另一方面，通过合理的硬盘分区，有效保护系统盘空间，确实能够提高系统运行速度，其次，硬盘分区也可以有效

原创 linux中hda和sda的区别

linux中hda和sda的区别hda一般是指IDE接口的硬盘，hda一般指第一块硬盘，类似的有hdb,hdc等sda一般是指SATA接口的硬盘，sda一般指第一块硬盘，类似的有sdb,sdc等现在的内核都会把硬盘，移动硬盘，U盘之类的识别为sdX的形式...

原创 Linux主分区和扩展分区的区别

Linux主分区和扩展分区的区别主分区的作用就是计算机用来进行启动操作系统的，因此每一个操作系统的启动，或者称作是引导程序，都应该存放在主分区上。扩展分区的目的是使用额外的扇区来记录分区信息，不能直接使用，只有分成逻辑分区才能被格式化后作为数据访问的分区。...

原创 面试题 接口和抽象类的区别是什么？

接口和抽象类的区别是什么？接口必须使用 implements 来实现接口；抽象类的子类使用 extends 来继承接口不能有构造函数；抽象类可以有构造函数一个类只能继承一个抽象类，但可以实现多个接口抽象类中成员变量默认 default，可在子类中被重新定义，也可被重新赋值，抽象方法被 abstract 修饰，不能被 private、static、synchronized 和 native 等修饰；接口中成员变量默认为 public static final 修饰，必须赋初值，不能被修改，其所有的成员

原创 面试题 Java 中 final 关键字的作用是什么？

Java 中 final 关键字的作用是什么？final 修饰的类叫最终类，不能被继承final 修饰的方法叫最终方法，不能被重写，但可以被继承final 修饰的变量叫常量，必须初始化，初始化之后值不能被修改...

原创 面试题 软件测试都有那些种类?

软件测试都有那些种类?黑盒：针对系统功能的测试 　　白盒：测试函数功能，各函数接口

原创 面试题 局部变量能否和全局变量重名？

局部变量能否和全局变量重名？答：能，局部会屏蔽全局。要用全局变量，需要使用"::" ;局部变量可以与全局变量同名，在函数内引用这个变量时，会用到同名的局部变量，而不会用到全局变量。对于有些编译器而言，在同一个函数内可以定义多个同名的局部变量，比如在两个循环体内都定义一个同名的局部变量，而那个局部变量的作用域就在那个循环体内。...

原创 面试题 Java中有哪些数据类型？

Java中有哪些数据类型？Java中数据类型分为基本数据类型和引用数据类型基本类型：byte（默认值0，占1字节）、short（默认值0，占2字节）、int（默认值0，占4字节）、long（默认值0，占8字节）、float（默认值0.0，占4字节）、double（默认值0.0，占8字节）、char（默认值\u0000，占2字节）、boolean（默认值false）引用类型：类（默认值null）、接口（默认值null）、数组（默认值null）...

原创 Power Query的列行简介

Power BIPower BI有四个插件分别是Power Query（获取和整理数据）Power Pivot（分析建模）Power View（交互式报表）Power Map（三维地图）Power Query作用于获取和整理数据数据获取文本 txt csv 数据库 自网站 自Excel 因为后面需要用到查询编辑器 整理和清洗数据 如果数据量小 自表格进入列的操作 选择列 删除列的一种 转到列 快速帮你找到列，不是删除 删除列 删除其他列

原创 Power Query介绍

Power Query介绍Power Query 是微软提供的工具，Excel 2013 版作为插件加载使用，从 Office 2016 版开始，Power Query 的功能集成到 Excel 中，可以直接使用。微软推出 Power BI Desktop 后，一系列的工具，比如 Power Query, Power Pivot, Power View 等，都集成在其中。Power Query 定位查询，中文一般翻译为超级查询，主要作用是连接不同种类的数据源，进行数据的转换。下图来自微软官方对 Power

原创 ps训练营一看就会

原创 Excel基础一看就会

原创 python连接数据库

版本区别当我们通过百度搜索“Python连接数据库”时，跳出的结果第一个就是著名网站----菜鸟教程的文章。其中说明了如何使用MySQLdb的诸多事宜。然鹅，经过多方调研，MySQLdb并不支持最新的Python版本。Python在2009年进入了3.x的时代，不同于Java每次更新版本都可以很好的兼容旧版本的代码，Python3.x并不能很好的兼容Python2.x版本的代码，甚至于不再支持MySQLdb，需要使用pymysql来代替MySQLdb。因此如果正在使用Python2.x可以学习使用菜鸟教

原创 vlookup函数使用说明

vlookup垂直查询函数=vlookup(匹配参数,查找区域,查找值在查找区域的列数,精确匹配或者近似匹配)*一般查找区域需要锁定（快捷键：F4）*匹配参数需要出现在查找区域的最左边一列，即不能查询数据区域中匹配参数左边的数据*数据有效性与vlookup函数搭配，做成一个列表查询系统*多层嵌套if函数可以用vlookup代替（if函数可以删去对照基准，vlookup函数不可删去，若要删去可把查找区域F9转换为数组）*近似匹配时，需要对查找区域的匹配参数做升序排列*近似匹配时，只能向上查找（

原创 HTML元素和标签的区别

HTML元素和标签的区别元素：HTML元素就是构成HTML文件的基本对象，HTML元素可以说是一个统称而已。HTML元素就是通过使用HTML标签进行定义的。例如：<a href=“http://www.chhua.com” id=>WEB开发笔记ID为“web”的可以统称为一个大元素 a标签也可以称为一个小元素。标签：标签就是、、等被尖括号“<”和“>”包起来的对象，绝大部分的标签都是成对出现的，如、。当然还有少部分不是成对出现的，如、等。标签就是用来标记H

原创 CSS 选择符有哪些

CSS 选择符有哪些1）id 选择器（#myid）2）类选择器（.myclassname）3）标签选择器（div，h1，p）4）相邻选择器（h1 + p）5）子选择器（ul > li）6）后代选择器（li a）7）通配符选择器（* ）8）属性选择器（ a[rel = “external”]）9）伪类选择器（a: hover, li: nth - child）...

原创 display:none和visibility:hidden的区别

display:none和visibility:hidden的区别display:none:隐藏对应的元素，在文档布局中不再给它分配空间，它各边的元素会合拢， 就当他从来不存在。visibility:hidden:隐藏对应的元素，但是在文档布局中仍保留原来的空间。...

原创 菜鸟学习oracle

菜鸟学习oracleoracle数据库很早就听说的这个很重要，见到oracle的教程书那么厚，就不想看了，我知道这不是一个合格码农的风格。大学匆匆而过，等到找工作的时候才后悔莫及。终于在各各公司的无情打击下，绝对怒学oracle。在论坛oracle区看到有人共享的韩顺平老师的视频，感觉很不错。在这里记录一下在安装oracle过程中遇到的一些问题。首先，在网上找了个oralce 11g的安装包。win32_11gR2_database_1of2 和win32_11gR2_database_2of2，把这两

原创 oracle入门（新手必看）

本章内容：Ø Oracle介绍Ø 安装步骤Ø 基本使用Ø 用户管理一、Oracle数据库简介Oracle数据库是Oracle（甲骨文）公司的核心产品，适合于大型项目的开发；银行、电信、电商、金融等各领域都大量使用Oracle数据库。Oracle数据库是一种对象关系型数据库，在关系型数据库的基础上，引入了一些面向对象的特性。Oracle数据库的产品可以免费下载，其服务是收费的，也就是该数据库用于商业目的时，必须取得Oracle的授权。Oracle出现有30年时间，经历了很多版本，目前最新的版

原创 Excel基础功能

一、数据预处理包括四种工具：文本函数：对文本进行提取查找、转换、更新的函数重复项：对数据进行去重分列：拆分列数据数据排序与筛选：可以对数据进行排列和筛选二、核心函数库：统计包括四种函数：数学函数：SUM、AVERAGE，对数据进行计算逻辑函数：OR、NOT，对数据进行判断条件聚合函数：COUNT、SUMIF，对数据进行有条件的聚合引用函数：LOOKUP，从单行或单列或数组中查找一个值三、分析数据透视表、图表...

原创 Excel函数大全

## Excel函数大全首先得说明下excel如何输入函数公式的方法方法是：单击a4单元格（a4单元格的位置是第A列，第4行交叉的那个单元格，也即是我们彩色实例的那个位置），在键盘上输入 =a1+a2+a3 ，然后按键盘的enter键（回车键）即可完成使用公式计算（结果3485.96）要想正确输入excel公式，必须要谨记以下要点：1、公式必须以 = 开始。不管是单纯的公式还是更高级的函数使用，都需要以 = 为开始标记，否则，所有的公式只是字符，而不能完成计算功能；2、准确使用单元格。公式中用到的数据单

原创 ps基础快捷键

ps基础快捷键ctrl+delete 填充白图层（背景色）alt+delete 填充前景ctrl+r ->标尺ctrl+h ->消除标尺去掉钢笔原来画的-〉鼠标右键，消除路径魔棒圈起来右键，选择反向，删除，就只要一个，其他的就不要了上面的工具按钮（菜单栏）-〉选择-〉载入选区就是选中模棒越精细越好删除《–习惯创建新图层alt + 鼠标左键 复制图层分组规则，字在上，背景在下想要确定大小-》窗口-信息ctrl+e合并图层ctrl+t选择大小补充：撤销：【CTRL+

原创 面试逻辑题

逻辑题1、有1000瓶酒，其中只有一瓶有毒。现在用小白鼠进行实验，小白鼠只要服用任意量有毒酒就会在24小时内死亡。问最少要用多少只小白鼠进行实验 才能在24小时内检测出哪瓶药水有毒？ 这是一个二进制的问题，答案是用10只就可以。 将1000瓶酒分别编号，用十只小白鼠分别代表十位二进制存储，将编号为i的酒换算成十位二进制数表示，为1的位上就喂小白鼠，为0的位上不喂 小白鼠，例如3号酒用十位二进制表示为“0000000011”那么就喂最后两只小白鼠喝3号瓶的酒，5号酒用十

原创 python随机数

随机数1.参生n–m范围内的一个随机数: random.randint(n,m)2.产生0到1之间的浮点数: random.random()3.产生n—m之间的浮点数: random.uniform(1.1,5.4)4.产生从n—m间隔为k的整数: random.randrange(n,m,k)5.从序列中随机选取一个元素: random.choice([1, 2, 3, 4, 5, 6, 7, 8, 9, 0])6.在一些特殊的情况下可能对序列进行一次打乱操作: random.sh

原创 爬虫的原理

爬虫的原理在输入网址后，你便可以在网页中看见各式各样的内容，有图片、视频及文本等。这是因为输入网址后DNS服务器寻找服务器主机，并且向它发送请求，服务器接收请求后解析并作出响应，将结果返回给浏览器，浏览器再将结果进行解析，这便是我们在网页中看到的内容。因此，爬虫的基本流程如下。爬虫的基本流程（1）发送请求    通过HTTP向站点发送Request请求，请求中包含header等信息。（2）获取响应内容    若服务器正常响应，会返回一个Response响应，这就是我们要获取的内容。（3）解析内

原创 为什么要使用爬虫

为什么要使用爬虫为什么我们要使用爬虫互联网大数据时代，给予我们的是生活的便利以及海量数据爆炸式的出现在网络中。过去，我们通过书籍、报纸、电视、广播或许信息，这些信息数量有限，且是经过一定的筛选，信息相对而言比较有效，但是缺点则是信息面太过于狭窄了。不对称的信息传导，以致于我们视野受限，无法了解到更多的信息和知识。互联网大数据时代，我们突然间，信息获取自由了，我们得到了海量的信息，但是大多数都是无效的垃圾信息。例如新浪微博，一天产生数亿条的状态更新，而在百度搜索引擎中，随意搜一条——减肥100,00

原创 什么是python web

什么是python web之前学习中python文件，右键运行很快就运行结果，能看到结束 code=0Python web是为前端页面（网页前端，小程序，ios，Android）提供服务的（返回数据，校验一些数据）举例：前端网页 登录功能 前端传递用户名和密码过来，后台校验 数据是否正确，响应请求（然后返回不同的结果）Python代码不能结束，一直运行着...

原创 JS是什么

JS是什么JS是一种解释型语言计算机语言分为编译型和解释型程序员使用高级语言编制程序，但是程序最终是由计算机去执行，那么计算机只能执行机器语言（即二进制代码），那么这个过程就必然有一个从高级语言到机器语言的“翻译”过程。有两种“翻译”方式：（1）编译：将代码整体翻译成机器代码，如果有错误则停止翻译，全部成功翻译完才能执行；（2）解释：将代码翻译一条马上执行一条，如果遇到错误则停止。计算机语言分为两种：编译型语言：JAVA、C++、C….解释型语言：JavaScript、CSS…...

原创 css圆角

css圆角border-bottom-left-radius: 20px;/左下/border-bottom-right-radius: 20px;/右下/border-top-left-radius: 20px;/左上/border-top-right-radius: 20px;/右上/

原创 css虚线

css虚线border-bottom: 1px dashed #333333;

原创 python随机数

python随机数#通过random模块import random# 随机整数0到100a = random.randint(0,100)print(a)# 随机浮点数：0到1m = random.random()print(m)

原创 python常见错误

python常见错误

原创 python优点以及领域

Python 是一种 面向对象 的 解释型 计算机程序设计语言Python 是纯粹的自由软件， 源代码和解释器CPython遵循GPL (GNU General Public License)协议。Python 语法简洁清晰，特色之一是强制用空白符(white space)作为语句缩进 (标准四个空格) 。涉及的领域1.数据采集与处理 领域使用 Requets/Urllib/Re 模块库实现典型的网络爬虫程序，采集各种结构化和非结构化数据，通过动态代理Proxy自动轮询，突破网

原创 python输入日期计算是第几天

python输入日期计算是第几天run = {1:31,2:29,3:31,4:30,5:31,6:30,7:31,8:31,9:30,10:31,11:30,12:31}ping = {1:31,2:28,3:31,4:30,5:31,6:30,7:31,8:31,9:30,10:31,11:30,12:31}y = int(input("请输入年份:"))m = int(input("请输入月份:"))d = int(input("请输入日期:"))sum = 0if 0 < m

原创 python找最大值

python找最大值def list_max(list): index = 0 max = list[0] for i in range(1,len(list)): if(list[i] > max): max = list[i] index = i return (index,max)list = [99,11,33,111,55,66,88]res = list_max(list)prin

原创 python写阶乘

python写阶乘def factorial(n): if n == 1: return 1 return n * factorial(n-1)print(factorial(5))##5的阶乘5！