大文件里面内容的快速查找（数据分析案例二）

最新推荐文章于 2022-11-18 18:45:00 发布
最新推荐文章于 2022-11-18 18:45:00 发布
阅读量2k 收藏 1
点赞数
分类专栏： 1亿行数据的数据文件的归并、切割、查找 文章标签： 1024程序员节
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45014721/article/details/109260774
版权

本内容是基于上篇博客 装饰器 的基础上写的。
上篇博客侧重于装饰器
本博客侧重于文件内容的迅速查找

  • 本节内容的数据见电脑F:\python数据\Python海量数据（精缩版） 或 百度网盘“我的数据文件/Python海量数据”

七、普通查找、二分查找、拉格朗日查找

10000个人中有一个人得了新冠肺炎，你要筛选那一个人总不可能是一个一个检测吧？
将10000分成两拨，五千个一起检测，然后把有病毒的5000个样本中分成两拨，2500个的检测。。。
这就是2分查找
拉格朗日查找就是2分查找的公式改变
在这里插入图片描述
1.普通的方式查找一个数

import time
def  costTime(func):
    def _costTime(finddata,findlist):
        starttime=time.time()
        func(finddata,findlist)
        endtime=time.time()
        print(endtime-starttime)
    return _costTime


@costTime
def search(finddata,findlist):
    for data in findlist:
        if data==finddata:
            print("find",data)
            return
    print("not find")


findlist=[x for  x in range(100000)]
while True:
    finddata=eval(input("data"))
    search(finddata,findlist)

在这里插入图片描述

2.用二分查找

import time
def  costTime(func):
    def _costTime(finddata,findlist):
        starttime=time.time()
        func(finddata,findlist)
        endtime=time.time()
        print(endtime-starttime)
    return _costTime

@costTime  #这是2分查找，2分查找就是在0-100里面找56的位置时，直接比较（0+100）/2=50和56的大小
def search2(finddata,findlist):
    low=0  #第一个
    high=len(findlist)-1 #代表最后一个

    times=0
    while low<=high: #不能重叠
        times+=1
        print("times",times)  #记录查询的次数 
        mid=(low+high)//2  #取出中间索引
        middata=findlist[mid] #取出中间数据
        if  finddata <middata: #小于 淘汰1半
            high =mid-1
        elif finddata >middata: #小于 淘汰1半
            low =mid+1
        else:
            print("find",finddata,mid)
            return mid
    print("not find")
    return -1

findlist=[x for  x in range(100000)]
while True:
    finddata=eval(input("data"))
    search2(finddata,findlist)

在这里插入图片描述


import time
def  costTime(func):
    def _costTime(finddata,findlist):
        starttime=time.time()
        func(finddata,findlist)
        endtime=time.time()
        print(endtime-starttime)
    return _costTime


@costTime  #这是拉格朗日的查找方法
def search2lr(finddata,findlist):
    low=0  #第一个
    high=len(findlist)-1 #代表最后一个

    times=0
    while low<=high: #不能重叠
        times+=1
        print("times",times)

        #mid=(low+high)//2  #取出中间索引
        datamid=((finddata-low)/(high-low))
        mid = int(low + (high - low) * datamid)
        middata=findlist[mid] #取出中间数据
        if  finddata <middata: #小于 淘汰1半
            high =mid-1
        elif finddata >middata: #小于 淘汰1半
            low =mid+1
        else:
            print("find",finddata,mid)
            return mid
    print("not find")
    return -1


findlist=[x for  x in range(100000)]
while True:
    finddata=eval(input("data"))
    search2lr(finddata,findlist)

在这里插入图片描述

八、例题

1.先对文件进行排序
//我们把csdn里面的数据按照用户的字母顺序排序
在这里插入图片描述

def getuser(line):
    line=line.decode("gbk","ignore")
    linelist=line.split(" # ")
    return linelist[0]


inputfilepath="E:\python数据分析\百度网盘\Python数据分析海量数据营销day2\Python数据分析海量数据营销day2\Search\csdn.txt"
outputfilepath="E:\python数据分析\百度网盘\Python数据分析海量数据营销day2\Python数据分析海量数据营销day2\Search\csdnsortbyuser.txt"
csdninputfile=open(inputfilepath,"rb")
csdnlist=csdninputfile.readlines()
csdninputfile.close()
print("读取完成")
csdnlist.sort(key=lambda x :getuser(x))
print("排序完成")
csdnoutputfile=open(outputfilepath,"wb")
for  line  in csdnlist:
    csdnoutputfile.write(line)
csdnoutputfile.close()

在这里插入图片描述
2.快速查询文件里面的某一行内容

在这里插入图片描述

filepath="E:\python数据分析\百度网盘\Python数据分析海量数据营销day2\Python数据分析海量数据营销day2\Search\csdnsortbyuser.txt"
csdninputfile=open(filepath,"rb")
csdnlist=csdninputfile.readlines()


lengthlist=[0]  #第一行的索引为0
for  line in csdnlist:
    lengthlist.append(len(line)) #读取每一行的长度到数组


i=1
length=len(lengthlist)
while i <length -1:  #舍弃了最后一行
    lengthlist[i]=lengthlist[i-1]+lengthlist[i] #叠加，确定每一行的文件位置
    i+=1

while True:
    linenum=eval(input("input lines： "))  #输入你想直接跳到的行数
    csdninputfile.seek(lengthlist[linenum-1],0) #seek可以直接跳到某一行的位置
    line=csdninputfile.readline()#读取那一行的信息
    print(line)

csdninputfile.close()

在这里插入图片描述
在这里插入图片描述
3.利用二分查找，根据文件里面的某一行内容快速定位这一行所在的位置


def search2(searchstr,lengthlist):
    low = 0  # 第一个
    high = len(lengthlist) - 1  # 代表最后一个

    times = 0
    while low <= high:  # 不能重叠
        times += 1
        print("times", times)
        mid = (low + high) // 2  # 取出中间索引

        midindex=lengthlist[mid] #取出位置，
        csdninputfile.seek(midindex,0) #移动到位置
        line=csdninputfile.readline() #读取以行
        line=line.decode("gbk","ignore") #解码
        linelist=line.split(" # ")#切割
        middata=linelist[0] #挖出user,按照user

        if searchstr< middata:  # 小于 淘汰1半
            high = mid - 1
        elif searchstr > middata:  # 小于 淘汰1半
            low = mid + 1
        else:
            print("find", line, mid)
            return mid
    print("not find")
    return -1


filepath="E:\python数据分析\百度网盘\Python数据分析海量数据营销day2\Python数据分析海量数据营销day2\Search\csdnsortbyuser.txt"
csdninputfile=open(filepath,"rb")
csdnlist=csdninputfile.readlines()


lengthlist=[0]
for  line in csdnlist:
    lengthlist.append(len(line)) #读取每一行的长度到数组


i=1
length=len(lengthlist)
while i <length -1:
    lengthlist[i]+=lengthlist[i-1] #叠加，确定每一行的文件位置
    i+=1
print("索引生成了")

while True:
   searchstr=input("input data：  ")  #根据用户名查找，你输入一个存在的用户名然后来查找
   search2(searchstr,lengthlist)

csdninputfile.close()

在这里插入图片描述

上面的内容是基于几百万的数据，你可以把索引存到一个列表里，下面我们要搞17亿的数据
基本思想是根据文件里面的数据生成一个索引文件（把索引放到文件里），根据索引文件来查找那些特定行的数据
在这里插入图片描述

一、根据数据生成索引文件

filepath="E:\python数据分析\百度网盘\Python数据分析海量数据营销day3\Python数据分析海量数据营销day3\Search\csdnsortbyuser.txt"
csdninputfile=open(filepath,"rb")
csdnlist=csdninputfile.readlines()

lengthlist=[0]
for  line in csdnlist:
    lengthlist.append(len(line)) #读取每一行的长度到数组

i=1
length=len(lengthlist)
while i <length -1:
    lengthlist[i]+=lengthlist[i-1] #叠加，确定每一行的文件位置
    i+=1
indexfilepath="E:\python数据分析\百度网盘\Python数据分析海量数据营销day3\Python数据分析海量数据营销day3\Search\csdnsortbyuserindex.txt"
saveindexfile=open(indexfilepath,"wb")
for  i  in range(len(lengthlist)-1):
    saveindexfile.write(format(lengthlist[i],"10d").encode("utf-8"))#保存为等长，为了随机访问(我们知道原文件每一行都不是等长的，我们生成的索引文件里面的每个数据就必须是等长的，方便查找)
saveindexfile.close()
csdninputfile.close()

在这里插入图片描述

二、根据索引文件快速访问某一行数据


csdnfilepath="E:\python数据分析\百度网盘\Python数据分析海量数据营销day3\Python数据分析海量数据营销day3\Search\csdnsortbyuser.txt"
csdnindexfilepath="E:\python数据分析\百度网盘\Python数据分析海量数据营销day3\Python数据分析海量数据营销day3\Search\csdnsortbyuserindex.txt"
csdnfile=open(csdnfilepath,"rb")
csdnindexfile=open(csdnindexfilepath,"rb")

while True:
    linenum=eval(input("input lines：  "))
    csdnindexfile.seek(10*(linenum-1),0) #跳到索引文件的中间位置（别忘了你之前保存的时候是按照"10d"的方式保存的）
    lineval=csdnindexfile.read(10)#读取10个字符
    lineval=eval(lineval)#转化为数字

    csdnfile.seek(lineval,0) #根据索引取出位置
    line=csdnfile.readline()
    line=line.decode("gbk","ignore")
    print(line)




csdnindexfile.close()
csdnfile.close()

在这里插入图片描述

三、利用二分查找，根据文件里面的某一行内容快速定位这一行所在的位置

def search2(searchstr):
    low = 0  # 第一个
    high = 6428632-1  # 代表最后一个

    times = 0
    while low <= high:  # 不能重叠
        times += 1
        print("times", times)
        mid = (low + high) // 2  # 取出中间索引

        csdnindexfile.seek(10 * (mid - 1), 0)  # 跳到索引文件的中间位置
        lineval = csdnindexfile.read(10)  # 读取10个字符
        lineval = eval(lineval)  # 转化为数字

        csdnfile.seek(lineval, 0)  # 根据索引取出位置
        line = csdnfile.readline()
        line = line.decode("gbk", "ignore")
        linelist=line.split(" # ")
        middata=linelist[0]

        if searchstr< middata:  # 小于 淘汰1半
            high = mid - 1
        elif searchstr > middata:  # 小于 淘汰1半
            low = mid + 1
        else:
            print("find", line, mid)
            return mid
    print("not find")
    return -1



csdnfilepath="E:\python数据分析\百度网盘\Python数据分析海量数据营销day3\Python数据分析海量数据营销day3\Search\csdnsortbyuser.txt"
csdnindexfilepath="E:\python数据分析\百度网盘\Python数据分析海量数据营销day3\Python数据分析海量数据营销day3\Search\csdnsortbyuserindex.txt"
csdnfile=open(csdnfilepath,"rb")
csdnindexfile=open(csdnindexfilepath,"rb")

while True:
    searchstr=input("input searchstr： ")
    search2(searchstr)


csdnindexfile.close()
csdnfile.close()

在这里插入图片描述

一、倒排索引

在这里插入图片描述

def getuser(num):
    csdninputfile.seek(num,0)  #跳到文件的位置。根据文件排序
    line=csdninputfile.readline()
    line=line.decode("gbk","ignore")
    linelist=line.split(" # ")
    return linelist[0]

filepath="E:\python数据分析\百度网盘\Python数据分析海量数据营销day3\Python数据分析海量数据营销day3\Search\csdn.txt"
csdninputfile=open(filepath,"rb")
csdnlist=csdninputfile.readlines()

lengthlist=[0]
for  line in csdnlist:
    lengthlist.append(len(line)) #读取每一行的长度到数组

i=1
length=len(lengthlist)
while i <length -1:
    lengthlist[i]+=lengthlist[i-1] #叠加，确定每一行的文件位置
    i+=1

lengthlist.sort(key=lambda x:getuser(x))#根据文件排序索引，
'''
csdninputfile是原文件，lengthlist是索引
注意：lengthlist.sort(key=lambda x:getuser(x))中的x是索引列表lenglist里的每一个元素，getuser(x)就是根据索引得到对应的csdninputfile里的那一行的元素，
lengthlist.sort(key=lambda x:getuser(x))的计算机理是先算key=lambda x:getuser(x)再算lengthlist.sort()

C = [('e', 4, 2), ('a', 2, 1), ('c', 5, 4), ('b', 3, 3), ('d', 1, 5)]
print(sorted(C, key=lambda x: x[2]))
[('a', 2, 1), ('e', 4, 2), ('b', 3, 3), ('c', 5, 4), ('d', 1, 5)]
'''

print("index made")
while True:
    linenum=eval(input("input lines"))
    csdninputfile.seek(lengthlist[linenum],0) #跳到某一行的位置
    line=csdninputfile.readline()#读取1行
    print(line)

csdninputfile.close()

在这里插入图片描述

二、生成倒排索引文件

def getuser(num):
    csdninputfile.seek(num,0)  #跳到文件的位置。根据文件排序
    line=csdninputfile.readline()
    line=line.decode("gbk","ignore")
    linelist=line.split(" # ")
    return linelist[0]

filepath="E:\python数据分析\百度网盘\Python数据分析海量数据营销day3\Python数据分析海量数据营销day3\Search\csdn.txt"
csdninputfile=open(filepath,"rb")
csdnlist=csdninputfile.readlines()

lengthlist=[0]
for  line in csdnlist:
    lengthlist.append(len(line)) #读取每一行的长度到数组
del  csdnlist #及时清理不用的东西，清理内存


i=0
length=len(lengthlist)
while i <length -1:
    lengthlist[i+1]+=lengthlist[i] #叠加，确定每一行的文件位置
    i+=1
del lengthlist[len(lengthlist)-1] #删除最后一个（你可以看看，最后一个就不是索引了）

lengthlist.sort(key=lambda x:getuser(x))#根据文件排序索引，

print("index made")
indexfilepath="E:\python数据分析\百度网盘\Python数据分析海量数据营销day3\Python数据分析海量数据营销day3\Search\csdnsortindex.txt"
saveindexfile=open(indexfilepath,"wb")
for  i  in range(len(lengthlist)-1):
    #保存为等长，为了随机访问
    saveindexfile.write(format(lengthlist[i],"10d").encode("utf-8")) #按照十个字节的长度存储进去
saveindexfile.close()

在这里插入图片描述

三、用二分查找

1.内存二分查找
什么叫做内存二分查找？你把索引存放到一个列表lengthlist里，这不就是存到内存里了吗？
什么叫硬盘二分查找？你把索引存放到一个文件里面，这不就是存放到硬盘里了吗？

倒排索引就相当于对原文件按照字符串大小进行排好序了，只要是按照文件内容排好序的都可以用2分查找快速定位


def search2(searchstr,lengthlist):
    low = 0  # 第一个
    high = len(lengthlist) - 1  # 代表最后一个

    times = 0
    while low <= high:  # 不能重叠
        times += 1
        print("times", times)
        mid = (low + high) // 2  # 取出中间索引

        midindex=lengthlist[mid] #取出位置，
        csdninputfile.seek(midindex,0) #移动到位置
        line=csdninputfile.readline() #读取以行
        line=line.decode("gbk","ignore") #解码
        linelist=line.split(" # ")#切割
        middata=linelist[0] #挖出user,按照user

        if searchstr< middata:  # 小于 淘汰1半
            high = mid - 1
        elif searchstr > middata:  # 小于 淘汰1半
            low = mid + 1
        else:
            print("find", line, mid)
            return mid
    print("not find")
    return -1

def getuser(num):
    csdninputfile.seek(num,0)  #跳到文件的位置。根据文件排序
    line=csdninputfile.readline()
    line=line.decode("gbk","ignore")
    linelist=line.split(" # ")
    return linelist[0]

filepath="E:\python数据分析\百度网盘\Python数据分析海量数据营销day3\Python数据分析海量数据营销day3\Search\csdn.txt"
csdninputfile=open(filepath,"rb")
csdnlist=csdninputfile.readlines()

lengthlist=[0]
for  line in csdnlist:
    lengthlist.append(len(line)) #读取每一行的长度到数组
del  csdnlist


i=0
length=len(lengthlist)
while i <length -1:
    lengthlist[i+1]+=lengthlist[i] #叠加，确定每一行的文件位置
    i+=1
del lengthlist[len(lengthlist)-1] #删除最后一个

lengthlist.sort(key=lambda x:getuser(x))#根据文件排序索引，

print("index made")

while True:
   searchstr=input("input data")
   search2(searchstr,lengthlist)

csdninputfile.close()

在这里插入图片描述
2.硬盘二分查找
什么叫做内存二分查找？你把索引存放到一个列表lengthlist里，这不就是存到内存里了吗？
什么叫硬盘二分查找？你把索引存放到一个文件里面，这不就是存放到硬盘里了吗？

def search2(searchstr):
    low = 0  # 第一个
    high = 6428632-1  # 代表最后一个

    times = 0
    while low <= high:  # 不能重叠
        times += 1
        print("times", times)
        mid = (low + high) // 2  # 取出中间索引

        csdnindexfile.seek(10 * (mid - 1), 0)  # 跳到索引文件的中间位置
        lineval = csdnindexfile.read(10)  # 读取10个字符
        lineval = eval(lineval)  # 转化为数字

        csdnfile.seek(lineval, 0)  # 根据索引取出位置
        line = csdnfile.readline()
        line = line.decode("gbk", "ignore")
        linelist=line.split(" # ")
        middata=linelist[0]

        if searchstr< middata:  # 小于 淘汰1半
            high = mid - 1
        elif searchstr > middata:  # 小于 淘汰1半
            low = mid + 1
        else:
            print("find", line, mid)
            return mid
    print("not find")
    return -1



csdnfilepath="E:\python数据分析\百度网盘\Python数据分析海量数据营销day3\Python数据分析海量数据营销day3\Search\csdn.txt"
csdnindexfilepath="E:\python数据分析\百度网盘\Python数据分析海量数据营销day3\Python数据分析海量数据营销day3\Search\csdnsortindex.txt"
csdnfile=open(csdnfilepath,"rb")
csdnindexfile=open(csdnindexfilepath,"rb")

while True:
    searchstr=input("input searchstr： ")
    search2(searchstr)


csdnindexfile.close()
csdnfile.close()

在这里插入图片描述

你的甲乙丙
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
pandas打印某一列_Pandas-01之DataFrame&Series
weixin_39856265的博客
11-20 1888
本文详细介绍Pandas数据结构DataFrame和Series的常用方法。欢迎微信随缘关注@pythonic生物人本文可以学到什么？1、pandas简介 2、pandas数据结构之-Series pandas.Series快速创建 pandas.Series取出所有值：values pandas.Series取出索引：index pandas.Series类似于numpy.ndarry的性能 ...
我最想要的Excel数据分析书-案例文件
01-11
《我最想要的Excel数据分析书-案例文件》这个压缩包包含的是书中用于示例的数据和分析结果，共计14个Excel文件。这些文件对于学习和理解Excel数据分析是极为宝贵的资源，因为它们提供了实际操作的数据和已完成的分析...
Java自定义类排序
小白太白的博客
07-19 539
类内排序 类内排序采用实现 Comparable 接口的方式(重写 compareTo 方法) 规则： 与本(或第一个)对象相比，若本(或第一个)对象大于另一个对象则返回1，小于则返回-1，相等则返回0； 按此规则排序是升序排序，调换返回值则反向排序。当返回0时按原相对位置排序 import java.util.Arrays; public class Solution { stati...
常用工具类（随堂笔记）
qq_48692860的博客
10-17 168
抽象类 abstract：abstract修饰符可以用来修饰方法也可以用来修饰类，如果用来修饰方法，那么该方法就是抽象方法。如果用来修饰类，那么该类就是抽象类； 抽象类中可以没有抽象方法，但是有抽象方法的类一定要声明为抽象类； 抽象类不能使用new关键字来创建对象，他是用来让子类继承的； 抽象方法只有方法的声明，没有方法的实现，他是用来让子类实现的； 子类继承抽象类，那么就必须要实现抽象类，没有实现的抽象方法，否则该子类也要声明为抽象类； 内部类 内部类：就是在一个类的内部定义一个类，比
如何用python排序并只输出前几个_python中DataFrame如何按列排序
weixin_42509569的博客
02-05 3843
小编介绍过python中series排序的两种方法，那作为pandas中另一个数据结构DataFrame又是如何排序的呢？DataFrame排序形式有很多，本文以按列排序的形式向大家介绍DataFrame排序的几种方法：1、使用sort方法；2、使用sort_index方法；3、使用sort_values方法。方法一：使用sort方法(只适用python2)frame=DataFrame({'...
python 字典 根据value值排序， 获取top N个元素
Sun_Raiser的博客
04-10 3934
python 字典 根据value值排序， 获取top N个元素 现有需求，求解字典中值top n个键值对。 实现代码如下： def sortedDictValues(adict): items = list(adict.items()) items.sort(key=lambda x:x[1],reverse=True) return [(key,value) for key, value in items] 测试案例调用方法： k_list = {1:25,3:100,6:50
使用Excel数据分析案例数据.zip
01-08
本压缩包"使用Excel数据分析案例数据.zip"包含了一个具体的数据分析实例，旨在帮助用户理解并掌握Excel在数据分析中的应用。以下是基于这个主题的详细知识点讲解： 1. 数据导入与整理：Excel允许用户导入各种数据源...
数据分析-实际案例-销售异常情况分析-20211130
12-13
这个案例强调了Excel在基础数据分析中的实用性，它可以帮助非专业数据分析师快速理解数据并找出潜在问题。通过掌握上述步骤，我们可以更有效地处理类似的实际问题，提升业务决策的质量。同时，对于复杂的数据分析...
Excel数据整理与分析文件共享与保护共14页.pdf.z
11-19
例如，您可以使用“数据”菜单中的“排序”和“筛选”功能，根据特定条件对数据进行排序和过滤，以便快速查找和分析信息。此外，利用“条件格式化”可以突出显示满足特定条件的单元格，使数据可视化更直观。 数据...
Objective C 二分查找（快速排序）
12-25
在这个特定的案例中，我们关注的是使用Objective-C实现的两个核心算法：二分查找（Binary Search）和快速排序（Quick Sort）。下面我们将详细探讨这两个算法及其在Objective-C中的实现。 首先，快速排序是一种高效...
初学者的10种Python技巧
The_syx的博客
12-08 226
使用Python直观易懂的语法，任何人都可以访问令人印象深刻的科学计算功能。Python已成为数据科学和机器学习的标准语言，并且在Stack Overflow的2020开发人员调查中被...
Python学习：Pandas库
进阶的CVCoder的博客
12-19 2079
pandas包含数据结构和数据处理工具的设计使得在Python中进行数据清洗和分析非常快捷。pandas经常是和NumPy,Scipy以及数据可视化工具matplotlib一起使用的。pandas支持大部分NumPy语言风格的数组计算，但最大的不同在于pandas是用于处理表格型或异质型数据的。而NumPy更适合处理同质型的数值类数组数据。 在第一次学习Pandas的过程中，你会发现你需要记忆很多的函数和方法。所以在这里我们汇总一下Pandas官方文档中比较常用的函数和方法，以方便大家记忆。 df：任意的P
每日10行代码23：获取人民日报中一页更多的信息
天天卡丁的博客
09-17 353
接着定愉人民日报的项目，上次的代码只获取了正文，这次把所有的信息都获取。 def get_article(article_url): '''从文章内容页获取文章所有信息''' article = {} article_html = get_html(article_url) bs = BeautifulSoup(article_html, "html.parser") # 获取标题 subject_tab = bs.find("h1") articl
Smartbi赋能基金行业，消除数据孤岛难题
明月说数据
10-09 337
在“金融+科技”大趋势推动下，传统金融面临国家政策与市场的双轮驱动,金融行业开启了数字化转型进程。作为企业的重要资产，数据是价值堪比石油的基础性战略资源，创造数据价值逐渐成为金融企业的核心竞争力。如何从海量数据中快速获取有价值的信息，洞察内部规律，支持业务决策，最终实现将合适的产品与服务准确、快速地传递给合适的客户，成为金融企业普遍关注的焦点。 作为信息高度集中的行业，基金行业在数字化方面起步较早，已有许多的基金公司建立了自己的数据仓库以及数据分析平台，“数字化业务”的美好画卷似乎已经展开，只待提笔勾勒。
微信小程序点击事件如何拿到值
努力搬砖的小码
08-15 897
微信小程序点击事件
C#，大文件读取时快速定位，部分读取
wolfzz88的专栏
10-12 4752
当文件很大时，不可能把所有数据读入内存，所以对于具有相同长度的排列数据，可以采用偏移定位法直接将指针移动到起始位置，然后读取对应长度。 在C#中可以使用FileStream类的seek方法。
python字典值排序并取出前n个key值
热门推荐
AbnerKou的博客
05-25 2万+
今天在写一个算法的过程中，得到了一个类似下面的字典： {'user1':0.456,'user2':0.999,'user3':0.789,user:'0.234'} 想要获取字典里value值前3的key,就产生了如下代码 直接贴代码： def order_dict(dicts, n): result = [] p = sorted([(k, v) for k, v in...
如何处理海量数据文件以及大文件数据查找
weixin_61857742的博客
11-18 1520
同样，一个数据只会映射一个比特位，在两个位图中会映射同样的比特位，这两个比特位正好可以用于记录数据出现的次数。数据第一次映射时置为0 1，第二次为1 0，第三次为1 1。如果是40亿个数据，最多就需要40亿个比特位，即476MB。当找寻数据时，只需要在位图中找到该数据对应的比特位，如果为1说明有，0说明没有。当然，前提是数据进文件时就已经建立位图了，否则查找时再建立位图还是要遍历数据。这时一个位图已经无法满足需求，因为一个位图只能通过0和1判断数据是否存在。不管是哪种，面对40亿个数据其效率都不会太高。
查看大文件内容的方法
htkeepmoving
07-26 1599
如果一个文件太大，例如一个txtwen
python数据分析案例
最新发布
09-15
以下是一个简单的 Python 数据分析案例： 假设你有一个 CSV 文件，其中包含销售数据。每一行都表示一个销售记录，包括日期、销售额和销售员姓名。你想要分析这些数据并回答以下问题： 1. 这个月的总销售额是多少？...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

你的甲乙丙

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值