- 博客(58)
- 收藏
- 关注
RSS订阅原创 DataBrick的简单使用（课程自用，侵删）
背景由于AmazonCloud需要注册自己的信用卡才能使用，因此课程中使用DataBrick作为替代来学习spark的使用。DataBrick介绍Databricks，是属于 Spark 的商业化公司，由美国伯克利大学 AMP 实验室的 Spark 大数据处理系统多位创始人联合创立。Databricks 致力于提供基于 Spark 的云服务，可用于数据集成，数据管道等任务。Databricks 公司云解决方案的由三部分组成：Databricks 平台、Spark 和 Databricks .
2021-12-18 16:19:12
3997
原创 Python杂记：列表生成
1.方式一使用[ ]来生成1.1生成1行1列的空列表1.2生成m行n列的全0列表2.方式二使用list()来生成1.1生成1行1列的空列表1.2list()用于类型转换将string转换为单个字符组成的list将tuple转换成list还可以对iterator进行转换（map()函数返回的是一个迭代器）3.二者比较空括号方式更加直观简单且运行快，但是功能比较局限，不能进行类型转换。而list()花费时间较长，通常用于类型转换这...
2021-10-16 17:12:52
1486
原创 十大排序算法总结及Python实现
1、冒泡排序1.1 思路概述以升序排序为例，依次对未排序部分两两比较，元素大的放后面，元素小的放前面。每一轮下来，未排序中最大的元素会被冒到未排序区域的最后一个位置，每一轮都会确定当前最大元素的最终位置，该元素确定后，就会从未排序元素中剔除。如果其中某一轮，没有发生元素交换，说明整个未排序数组都已经有序，则完成排序。1.2复杂度分析最好的情况是已经有序，则一轮结束，时间复杂度为O(n).最坏情况是逆序排序，则共需要经过n轮排序，每次复杂度为O(n),故时间复杂度为O(n^2).由于是就地..
2021-09-16 18:04:49
406
原创 解决jupyter notebook上pip install成功却无法import的问题
由于使用anaconda下激活的环境是python38后打开的jupyter，所以在jupyternotebook使用！pip install XXX后安装的包的路径都是在对应环境下。但是对包进行import的时候，查找的路径是jupyter默认的kernel而非激活的环境。可以安装nb_conda_kernels包来解决，使得在jupyter下new的文件的kernel可以和环境对应。（红色部分是使用命令以前，蓝色是使用命令以后的）安装命令为：conda install ...
2021-04-22 18:25:42
2450
1
原创 解决jupyter notebook启动需要密码问题终极办法
第一种情况（应该是大部分人会遇到的）即要求输入pwd ortoken：对于这种情况，只需要打开另一个终端（cmd），然后按照图中的输入“jupyternotebooklist” ，然后就会看到所需要的token，使用token替代密码登录进去即可。第二种情况要求输入pwd，没有token选项：这时使用上面那种办法，如下图，则会得到无token的网址。...
2021-01-17 18:08:59
30913
18
原创 优化入门
第一章：优化问题定义及应用介绍什么是优化问题？基本形式其中，x为决策变量，f(x)为目标函数，所有的g(x)和h(x)为约束条件，满足限制函数的x的集合称为可行集。通俗解释考虑如下场景：如一个公司生产不同的产品，可以生产的有n种，每种产品所需要的原材料和利润是不同的。公司要决定每种产品具体生产多少，才能获取最大收益/长足发展/最高人气，但在生产过程中，所需要用到的m种原料是有限的。比如A原料共有50单位要求必须全部用完，F原料最多使用80单位。在这个场景下，每种产品具体生产多少就
2020-12-27 22:21:39
821
1
原创 jupyter notebook对多行代码同时添加前缀或者删除前缀（另附gif动图制作法）
这个功能虽然比较鸡肋，也比较少应用场景，但是好玩呀！在jupyter notebook中，将光标移到代码前面上，长按Alt，直到出现光标（十字形），然后鼠标按住下移，光标会延长，直到涵盖所有需要的代码。再添加或删除内容即可。如图：可以用来对多行代码添加注释，但是一般用Ctrl+/会比较快hhhh对于编写重复部分代码还是可以用上的，省去了复制粘贴。另外附上gif生成：https://www.cockos.com/licecap/下载完成以后会得到一个中空的窗口，类似一个相框，可
2020-10-19 14:27:00
5013
原创 解决csv.reader迭代器只能迭代一次的问题
在做项目过程中，需要对同一个CSV文件进行两次迭代，但是在第二次迭代时候，输出为空。这里用一个小例子表示：对这个简单的csv文件迭代第一次：迭代第二次：可以看到，第二次迭代的时候，输出为空。检查下迭代器可以发现，迭代器已经指到文件末尾了。这也是为什么第二次输出为空的原因。因此需要对迭代器进行刷新。暴力方式：生成新的迭代器（注意这里的迭代器指的是csv.reader，而不是item_t,因此如果只是将item_t改成如item_tt之类的是不起作用的。）在网
2020-10-18 21:37:19
1999
转载 Amdahl定律和Gustafson定律
本文摘自葛一鸣 老师的《实战java高并发程序设计》一书。因为觉得写得好就摘下来了将串行程序改造成并发程序，一般来说可以提高程序的整体性能，但是究竟能提升多少，甚至说究竟是否真的可以提高，还是一个需要研究的问题。目前，主要有两个定律对这个问题进行解答，一个是Amdahl定律，另一个是Gustafson定律。1.Amdahl定律Amdahl定律是计算机科学中非常重要的定律。它定义了串行系统并行化后的加速比的计算公式和理论上线。加速比定义： 加速比...
2020-10-16 20:25:19
3496
3
原创 云计算概念 IaaS PaaS SaaS
SaaS, PaaS, & IaaS定义SaaS: Software as a Service软件即服务（也称为云应用程序服务），云市场中企业最常用的选项。 SaaS利用互联网向其用户提供由第三方供应商管理的应用程序。 大多数SaaS应用程序直接通过Web浏览器运行，不需要在客户端进行任何下载或安装。软件的开发、管理、部署都交给第三方，不需要关心技术问题，可以拿来即用。普通用户接触到的互联网服务，几乎都是 SaaS应用。对于个人用户而言，常用的app网站如即时通讯软件，微博，邮件等，都是Sa
2020-10-16 17:22:42
845
1
原创 如何理解 95% 置信区间
https://www.zhihu.com/question/26419030?sort=created看马同学回答
2020-10-13 22:59:42
1238
转载 linux下tab自动补全功能
在Linux命令行下，输入字符后，按两次Tab键，shell就会列出以这些字符打头的所有可用命令。如果只有一个命令匹配到，按一次Tab键就自动将这个命令补全。比如，想更改密码，但只记得这个命令前几个字母是pass。这时候，按Tab键，shell就自动输出 passwd 命令，非常方便。当然，除了命令补全，还有路径、文件名补全。这个在我们 cd 到特定目录时特别好用。命令补全效果，如下： 那么，自己开发的程序，该怎么实现Tab自动补全？补全命令说明自动补全是Bas...
2020-10-12 19:53:41
14035
转载 Amdahl定律及木桶原理
首先的一个问题就是，这个怎么读啊？？？对于我这蹩脚的英语来说真是一脸懵逼。赶紧百度下：阿姆达尔定律，是由Gene Amdal 在1967年提出。阿姆达尔定律定义了穿行系统并行化后加速比的计算公式和理论上限。加速比 = 优化前的系统耗时/优化后的系统耗时加速比越高说明你的优化越明显。在这个地方还有另外一个公式：<script type="math/tex; mode=display" id="MathJax-Element-15">SpeedUp\le\frac...
2020-10-12 19:34:08
917
转载 Linux不挂断地运行命令 nohup
1.nohup用途：不挂断地运行命令。语法：nohup Command [ Arg … ] [ & ] 无论是否将 nohup 命令的输出重定向到终端，输出都将附加到当前目录的 nohup.out 文件中。 如果当前目录的 nohup.out 文件不可写，输出重定向到 $HOME/nohup.out 文件中。 如果没有文件能创建或打开以用于追加，那么 Command 参数指定的命令不可调用。退出状态：该命令返回下列出口值： 126 可以查找但不能调用 Com.
2020-10-12 19:33:11
1113
转载 python中小数点后取2位（四舍五入）以及取2位（四舍五不入）的方法总结
在很多场景的计算中，最终得到的数值例如123.45678，要截取2位小数得到123.45，而不是默认的四舍五入方法得到123.46，如何实现呢？文章目录 一.小数点后取2位（四舍五入）的方法 方法一：round（）函数 方法二：'%.2f' %f 方法 方法三：Decimal（）函数 二.小数点后取2位（四舍五不入）的方法 方法一： 一.小数点后取2位（四舍五入）的方法方法一：roun...
2020-10-12 12:38:34
5692
1
转载 python判断变量类型（是否为int、字符串、列表、元组、字典等方法）
#!/usr/bin/env pythona = 1b = [1,2,3,4]c = (1,2,3,4)d = {'a':1,'b':2,'c':3}e = "abc"if isinstance(a,int): print "a is int"else: print "a is not int"if isinstance(b,list): print "b is list"else: print "b is not list"if isinstance(.
2020-10-12 12:29:02
3440
1
转载 Markdown修改字体大小、字体、背景色等操作
本文介绍 CSDN-markdown 借助 html 实现文字样式设置，包括字体、大小、颜色、高亮和底色。点击这里跳转到文末的颜色列表。 Markdown通过简单标记语法，使普通文本内容具有一定格式。但它本身不支持修改字体、字号与颜色等功能的。CSDN-markdown编辑器是其衍生版本，支持基于 PageDown ( Stack Overflow）所使用的编辑器的扩展功能（如表格、脚注、内嵌HTML、内嵌 LaTeX 等等）。文字样式1（内嵌HTML）Size：规定文本的尺寸大小，取值从..
2020-10-11 21:12:19
3216
转载 Python中的浅拷贝（shallow copy）与深拷贝（deep copy）
先举个非常常见的例子：importcopylist1=[1,2,3,['a','b']]list2=list1list3=copy.copy(list1)list4=copy.deepcopy(list1)list1.append(5)list1[3].append('c')print'list1:',list1print'list2:',list2print'list3:',list3print'list4:',list4...
2020-10-11 21:09:17
1067
转载 python调用MATLAB库绘制直方图
直方图（histogram）虽然在样式上类似条形图，但它们的作用不一样。直方图用不同的矩形表示频数，常用来观察一组数据的概率分布。在直角坐标中，用横轴表示数据分组，纵轴表示频数或频率，各组与相应的频数就形成了一个个矩形，即直方图。画直方图用到 pyplot 中的 hist 函数，它的基本语法为：[n, bins, patches] = hist(x, [bins], **kwargs)输入值：x 数组，需要绘制直方图的数值 [bins] 可选参数，数据的组数，若不指定则
2020-09-29 11:35:48
1492
转载 Python中print()函数去掉默认的换行符
python中print()打印的话，默认是有一个换行符的。比如：print('abc')pirnt('xyz')1 2得出的结果是：abcxyz1 2那如果我想要得到abcxyz的结果该怎么办呢，也就是打印的两行给放在一行中。可以用一下代码：print('abc',end='')print('xyz')1 2这样打印出来的结果就没有换行了：abcxyz之前看到网上有人这么写：print('abc'),print('xyz')1 2也就
2020-09-29 11:29:02
3410
转载 virtualBox 报VT-x is disabled in the BIOS for both all CPU modes (VERR_VMX_MSR_ALL_VMX_DI的错误
很久没开virtualBox，突然心血来潮，打算开一下玩一下的，结果报了个VT-x is disabled in the BIOS for both all CPU modes (VERR_VMX_MSR_ALL_VMX_DI， 这个以前我遇过，不过还是记录一下吧，忘记了也找了很久。 问题原因： 主板的CPU虚拟化技术没开。 解决方法： 1.开机按del进入bois 2.选择Advanced(高级） 3.找到cpu设置 4.找到int...
2020-09-08 23:12:03
7186
原创 解决：jsonschema 3.2.0 has requirement six＞=1.11.0, but you‘ll have six 1.10.0 which is incompatible
ERROR: jsonschema 3.2.0 has requirement six>=1.11.0, but you'll have six 1.10.0 which is incompatible.解决方法>>>pip install six --user -UCollecting six Downloading six-1.15.0-py2.py3-none-any.whl (10 kB)Installing collected packages: six.
2020-08-13 10:31:28
2650
转载 Jupyter Notebook中设置“智能自动补全代码”功能
下载 jupyter-tabnine pip install jupyter-tabnine 安装 jupyter-tabnine jupyter nbextension install --py jupyter_tabnine 启动 jupyter-tabnine jupyt...
2020-08-13 10:28:22
3051
转载 SyntaxError: (unicode error) ‘unicodeescape’ codec can’t decode bytes in position 2-3: truncated \UX
SyntaxError: (unicode error) ‘unicodeescape’ codec can’t decode bytes in position 2-3: truncated \UXXXXXXXX escape输入：f = open('C:\Users\Mr.LongKj\Desktop\stats2\result.txt','w')报错：SyntaxError: (unicode error) ‘unicodeescape’ codec can’t decode.
2020-08-13 09:43:34
687
原创 使用Pandas遇到Initializing from file failed错误
使用pandas读取文件遇到：OSError: Initializing from file failed此类报错一般是由于引用的路径中存在中文，有两种修改方式：1、直接了当且一劳永逸的就是把文件名改成英文2、实在不想改成英文也可以试试以下方法：将代码f = pd.read_csv('中文.csv')改为f = open('中文.csv')d = pd.read_csv(f)...
2020-08-13 09:41:38
2520
转载 python的三种导入模块/函数方式
core.py的内容如下：# -*- coding: utf-8 -*-import osdef getCurrentDir(): return os.path.split(os.path.abspath(__file__))[0]现在我们要在入口文件main.py中导入core.py中的函数，在main.py中调用方法如下：第一种：直接导入，三级调用# -*- coding: utf-8 -*-import inc.coreif __name__ == '__...
2020-08-12 18:05:42
3125
2
原创 Python与数据科学实战课程——第三章Pandas：谈一谈NaN
import numpy as npimport pandas as pdfrom pandas import Series,DataFramen = np.nannnantype(n)float任何数据类型 不管是int还是float 和nan做运算后得到的结果都是nanm = 1m + n nanNaN in seriess1 = Series([1,2,np.nan,3,4],index=["A","B","C","D","E"])s1A
2020-08-12 17:46:05
681
1
原创 Python与数据科学实战课程——第三章Pandas：多级index
import numpy as npimport pandas as pdfrom pandas import Series,DataFrame创建多级index的seriess1 = Series(np.random.randn(6))s10 0.0011501 -0.0198202 0.9227083 0.6564684 -0.7191095 0.957127dtype: float64s1 = Series(np.random.randn(
2020-08-12 17:42:20
702
1
原创 Python与数据科学实战课程——第三章Pandas：Mapping 与 Replace
import numpy as npimport pandas as pdfrom pandas import Series,DataFrame#create a dataframedf1 = DataFrame({"城市":["北京","上海","广州"],"人口":[1000,2000,1500]})df1 人口 城市 GDP 0 1000 北京
2020-08-12 17:37:55
961
1
原创 Python与数据科学实战课程——第三章Pandas：Reindexing Series and DataFrame
import numpy as npimport pandas as pdfrom pandas import Series,DataFrameSeries reindexs1 = Series([1,2,3,4],index=["A","B","C","D"])s1A 1B 2C 3D 4dtype: int64s1.reindex(index=["A","B","C","D","E"])A 1.0B 2.0C 3.0D
2020-08-12 17:33:40
655
原创 Python与数据科学实战课程——第三章Pandas：Dataframe_IO
import numpy as npimport pandas as pdfrom pandas import Series,DataFrame读写到粘贴板中import webbrowserlink = "http://pandas.pydata.org/pandas-docs/version/0.20/io.html"webbrowser.open(link)Truedf1 = pd.read_clipboard()df1 For
2020-08-12 17:25:20
739
转载 Jupyter-notebook下如何查看函数定义等属性
第一种，在方法后面加问号，然后执行，如 abs?第二种，光标移动到方法上面，按shift+tab，弹出文档，连续按选择文档详细程度补充知识：Jupyter notebook如何查看代码提示/doc文档/函数（方法）用法？选中需要查看的函数方法按快捷键Shift+Tab光标直接放上面再按快捷键Shift+Tab就可以了,不用拖动选取,如:右上角的^符号是展开,x是关闭,展开后变成这样:右上角x是关闭,x左边的按钮是用新标签打开,那样更方便浏览.怎么样,简单吧!2
2020-08-12 11:28:14
11545
1
原创 如何在Windows下使用ls pwd等命令
新建一个TXT文件，输入以下文字@echo offdir保存并重命名为ls.bat并放入C:\Windows这个文件夹下，即可使用ls命令pwd命令同理新建一个TXT文件，输入以下文字@echo offchdir后续步骤同理查看效果(myPython36) D:\Python_DS_Project>ls 驱动器 D 中的卷是 LENOVO 卷的序列号是 AEED-1D16 D:\Python_DS_Project 的目录2020-08-12 .
2020-08-12 10:21:31
4467
转载 如何在jupyter-notebook中导入图片
一、通过HTML方式插入本地图片使用<img src>语句插入本地图片，其中src为图片路径，可以是相对路径或绝对路径。<img src="./jupyter_logo.png", width=320, heigth=240>上述语句为插入当前目录下名为“jupyter_logo.png”的图片，宽度设为320， 高度设为240。如果不指定维度，则为原图大小。插入网络图片<img src>语句同样可以插入网络图片。<i...
2020-08-10 16:55:22
9861
3
原创 Python与数据科学实战课程——第三章Pandas：深入理解series和dataframe
import numpy as npimport pandas as pdfrom pandas import Series, DataFramedata = {"Country":["Belgium","India","Brazil"], "Capital":["Brussels","New Delhi","Brasilia"], "Population":[11190846,130317135,207847528]}Seriess1 = pd.Series(d
2020-08-09 11:53:08
720
1
原创 Python与数据科学实战课程——第三章pandas：Dataframe
import numpy as npimport pandas as pdfrom pandas import Series,DataFrame生成DataFrameimport webbrowserlink ="https://www.tiobe.com/tiobe-index/"webbrowser.open(link) #打开一个网站，并从该网站中复制数据Truedf = pd.read_clipboard() #从粘贴板中获取数据并解析，转换成个dataframedf
2020-08-09 11:48:41
709
原创 Python与数据科学实战课程——第三章Pandas：Series
import numpy as npimport pandas as pd1.生成series1.1使用列表生成seriess1 = pd.Series([1,2,3,4]) s1 #series 包含两部分内容 索引和内容0 11 22 33 4dtype: int64s1.valuesarray([1, 2, 3, 4], dtype=int64)s1.indexRangeIndex(start=0, stop=4, step=1)
2020-08-09 11:45:06
814
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人