海量数据的删除策略

2 篇文章 0 订阅
2 篇文章 0 订阅
1.延迟删除
一条数据会被很多数据引用。当被引用的数据删除时,引用的数据也需要删除。这时候可以用延迟删除的方法。
例子:
用户发表的帖子,可以被转发到很多地方。所有转发过的贴都是对原帖的引用,用户接着把他的原帖删除,所有被转发过的帖子也需要进行清理。我们采用的是延迟删除的方法,用户操作时,先直接删除原帖,被转发的贴,在点击时,会到原帖加载内容,这时发现原帖已经不存在,此时这条被点击的转发贴也会被删除。

当用户访问引用的数据时,发现被引用的数据不存在,此时删除引用的数据。

2.线下删除
一条数据关联到很多数据。但这条数据是所有其他数据的入口。
例子:
一个扣扣群里,会有很多内容,相册,图片等等。在解散扣扣群时是不可能同步删除和该群相关的所有数据的。此时可以用线下删除的方法。先将扣扣群的状态置为 inactive(解散)状态。然后提交一条任务,在指定的时候将所有和该扣扣群相关的数据都删除。任务可以在系统负载比较低的时候触发。因为扣扣群的状态已经被设置为inactive状态,它也不会再被其他人访问到。所有访问需要加状态进行判断。

3.异步删除
当某个系统的服务和其他系统的服务做了集成后,业务数据就可能是相互关联的。当某个服务的数据被删除时,需要通知相关联的所有系统删除和他相关联的数据。
例子:
用户会对他所加入的群进行了偏好设置,比如对某个群的评价,是否接收该群的通知等等。而这些数据是存在用户系统(其他服务器)上的。当一个群组被解散时,无法同步地调用用户系统的服务删除所有的数据。因为一个群组可能有几万甚至更多的成员。此时可以用异步的方式通知用户系统,群组系统发送一条“群解散”消息给用户系统,用户系统接收到消息后,会把所有相关联的数据都清除。

延迟删除结合使用:
如果数据量很大的话异步删除也需要相当长的时间,这时可以结合使用延迟删除的方法。
当用户在用户中心点击某群的偏好设置时,系统发现该群组已经被删除,就通知用户该群不存在,并删除相关的偏好设置。

线下删除结合使用
数据量很大如果立即删除会给系统突发地带来相当大的负载,甚至可能会引起用户访问的响应率降低。这时需要采用线下删除的方法,将删除任务分割成很多很小的任务。分批地提交给系统定时处理。

4.不删除
有些相关联的数据,重要性很低,又有有效期。我们是不会再花费额外的代价去删除它们的。

例子:
系统会记录用户的访问足迹。用户可以查询他的这些访问足迹。
您在2011.02.03在群组B(链接)回复了C(链接)发表的帖子D(链接)。
当B被解散或D被删除后,不需要主动去清理这条数据。因为所有的访问足迹都是有有效期的,当有效期到了的时候,这条数据就会被自动清除。
但是当D被删除后,用户点击D链接会提示用户404。
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
以下是一个简单的 Python 数据分析案例: 假设你是一家电商公司的数据分析师,现在需要对公司的销售数据进行分析,以便更好地了解销售情况。 首先,你需要获取销售数据。假设销售数据保存在名为“sales_data.csv”的 CSV 文件中。你可以使用 pandas 库来读取该文件,并将其转换为 DataFrame 对象: ``` python import pandas as pd sales_data = pd.read_csv('sales_data.csv') ``` 接下来,你可以使用 pandas 库对数据进行清洗和预处理。例如,你可以删除无效的行或列,填充缺失值等等。下面是一个示例: ``` python # 删除无效的行或列 sales_data.dropna(axis=0, how='any', inplace=True) # 填充缺失值 sales_data.fillna(0, inplace=True) # 对数据进行排序 sales_data.sort_values(by='sales', ascending=False, inplace=True) ``` 然后,你可以使用 pandas 库对数据进行分析和可视化。例如,你可以计算销售额、利润等指标,并使用 Matplotlib 库绘制图表。下面是一个示例: ``` python import matplotlib.pyplot as plt # 计算销售额和利润 sales_data['revenue'] = sales_data['price'] * sales_data['quantity'] sales_data['profit'] = sales_data['revenue'] - sales_data['cost'] # 绘制销售额和利润的折线图 plt.plot(sales_data['date'], sales_data['revenue'], label='Revenue') plt.plot(sales_data['date'], sales_data['profit'], label='Profit') # 添加图例和标签 plt.legend() plt.xlabel('Date') plt.ylabel('Amount') plt.title('Sales Analysis') # 显示图表 plt.show() ``` 这样,你就可以通过 Python 进行数据分析,并得出有用的结论,以便更好地了解销售情况,制定更合理的业务决策。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值