从指定的CSV文件中读取图片URL,批量下载这些图片到指定的目录

  1. 导入必要的库:包括pandas用于处理CSV文件,requests用于发送网络请求,以及ostime等进行文件系统操作和可能的时间控制。

  2. 设置路径:指定了CSV文件的位置和图片将要保存的目录。如果保存目录不存在,脚本会自动创建。

  3. 配置HTTP请求会话:使用requests.Session()建立会话,并通过RetryHTTPAdapter添加了重试逻辑,以便在网络问题导致的失败后自动重试下载。这样提高了下载过程的健壮性。

  4. 定义请求头:模拟浏览器的User-Agent字符串,某些网站可能需要特定的User-Agent来允许访问或下载。

  5. 遍历CSV文件并下载图片

    • 对CSV中的每一行,提取图片URL。
    • 使用URL的最后一部分作为图片的文件名,确保唯一性和可读性。
    • 在尝试下载前,检查文件是否已存在,避免重复下载。
    • 使用配置好的会话发送GET请求,并设置超时避免长时间阻塞。
    • 成功下载后,图片被写入到本地文件系统,并更新下载计数。
    • 如果遇到任何请求异常或非200状态码,会打印错误信息并继续处理下一行。
  6. 最终统计:完成所有URL的处理后,打印出成功下载的图片总数。

  • 25
    点赞
  • 13
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
好的,以下是Java异步实现读取千万级别csv文件数据并批量插入到ClickHouse的完整流程代码: 首先需要添加依赖: ```xml <dependency> <groupId>ru.yandex.clickhouse</groupId> <artifactId>clickhouse-jdbc</artifactId> <version>0.2.4</version> </dependency> ``` 然后编写代码: ```java import java.io.BufferedReader; import java.io.FileReader; import java.io.IOException; import java.sql.Connection; import java.sql.DriverManager; import java.sql.PreparedStatement; import java.sql.SQLException; import java.util.ArrayList; import java.util.List; import java.util.concurrent.CompletableFuture; import java.util.concurrent.ExecutionException; public class CsvToClickHouse { private static final String JDBC_URL = "jdbc:clickhouse://localhost:8123/default"; private static final String JDBC_USER = "default"; private static final String JDBC_PASSWORD = ""; private static final int BATCH_SIZE = 10000; public static void main(String[] args) throws IOException, SQLException, ExecutionException, InterruptedException { String csvFile = "path/to/csv/file.csv"; String tableName = "my_table"; List<String[]> data = readCsvFile(csvFile); CompletableFuture<Void> future = CompletableFuture.runAsync(() -> { try (Connection connection = DriverManager.getConnection(JDBC_URL, JDBC_USER, JDBC_PASSWORD)) { connection.setAutoCommit(false); String insertSql = "INSERT INTO " + tableName + " (col1, col2, col3) VALUES (?, ?, ?)"; PreparedStatement statement = connection.prepareStatement(insertSql); int count = 0; for (String[] rowData : data) { statement.setString(1, rowData[0]); statement.setString(2, rowData[1]); statement.setString(3, rowData[2]); statement.addBatch(); count++; if (count % BATCH_SIZE == 0) { statement.executeBatch(); connection.commit(); statement.clearBatch(); count = 0; } } if (count > 0) { statement.executeBatch(); connection.commit(); } statement.close(); } catch (SQLException e) { e.printStackTrace(); } }); future.get(); System.out.println("Insert data into ClickHouse successfully!"); } private static List<String[]> readCsvFile(String csvFile) throws IOException { List<String[]> data = new ArrayList<>(); try (BufferedReader br = new BufferedReader(new FileReader(csvFile))) { String line; while ((line = br.readLine()) != null) { String[] rowData = line.split(","); data.add(rowData); } } return data; } } ``` 这个代码会先读取csv文件的所有数据,然后异步地将数据批量插入到ClickHouse。其,每次批量插入的大小为BATCH_SIZE,可以根据实际情况进行调整。 需要注意的是,该代码仅适用于数据量较小的情况。如果需要处理更大的数据量,可以考虑使用分布式计算框架,如Spark、Flink等。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值